生成・フィルタリング・制御・再生：LLM強化学習におけるロールアウト戦略の包括的サーベイ

要旨: 強化学習（RL）は、大規模言語モデル（LLM）の推論能力を改善するための中心的な事後学習ツールとなってきました。これらのシステムでは、ロールアウト（プロンプトから終端までにサンプリングされる軌跡であり、中間の推論ステップや、任意のツールまたは環境との相互作用を含む）が、最適化器が学習するデータを決定します。しかし、ロールアウト設計はしばしば十分に報告されていません。この調査では、推論LLMのRLベース事後学習に向けたロールアウト戦略について、最適化器に依存しない観点を提示します。統一された記法でロールアウト・パイプラインを形式化し、4つのモジュール段階にロールアウト・パイプラインを分解するライフサイクル分類法であるGenerate-Filter-Control-Replay（GFCR）を導入します。Generateは候補となる軌跡とトポロジを提案し；Filterは検証器、判定者、批評家によって中間信号を構築し；Controlは計算資源を配分し、予算の下で継続／分岐／停止の判断を行い；そしてReplayは重み更新なしにロールアウト間で成果物を保持し再利用します。これには、新しい学習課題を自律的に生成する自己進化型カリキュラムも含まれます。私たちはGFCRに加えて、ロールアウトのトレードオフを特徴づける信頼性、カバレッジ、およびコスト感度の基準分類法を補完します。この枠組みを用いて、検証可能な報酬を伴うRL、プロセス監督、判定者に基づくゲーティング、誘導型およびツリー／セグメントのロールアウト、適応的な計算配分、早期終了および部分ロールアウト、スループット最適化、そして自己改善のためのリプレイ／再構成にまたがる手法を統合します。さらに、数学、コード／SQL、多モーダル推論、ツールを用いるエージェント、そして技能の誘導・再利用・タスク横断転移を評価するエージェント技能ベンチマークに関するケーススタディで、この枠組みを根拠づけます。最後に、一般的なロールアウトの病理（パソロジー）をGFCRモジュールへと対応付け、緩和のためのレバーを示す診断インデックスと、再現可能で計算効率が高く信頼できるロールアウト・パイプラインを構築するための未解決課題を提示します。