要旨: 大規模言語モデル（LLM）に対する強化学習（RL）は、ますます疎な、結果レベルの報酬に依存するようになっている一方で、長い軌跡の中でどの行動がその結果を引き起こしたのかを特定することは依然として困難です。このクレジット割当（CA）問題は、2つの状況として現れます。すなわち、推論RLでは、クレジットを単一のチェーン・オブ・ソート生成の中のトークンおよびステップにわたって分配する必要があり（500～30K+トークン）、一方、エージェント型RLでは、多ターンの環境との相互作用により確率的な遷移、部分観測、100ターン以上のホライズンが導入されるため（100K～1Mトークン）、エピソードレベルのクレジットはますます情報を持ちにくくなります。
本稿では、2024年から2026年初頭にかけて公表された47のCA手法（中核41、隣接する支援的要素6）を調査し、割当の粒度（トークン、セグメント、ステップ、ターン、多主体）と方法論（モンテカルロ、時間差、モデルベース、ゲーム理論、情報理論）の2次元のタクソノミーに整理します。調査そのものに加えて、3つの再利用可能なリソースを提供します：(1) タクソノミーラベル、ベースラインファミリー、およびエビデンスレベルを備えた、構造化された機械可読の論文インベントリ。(2) 将来のCA論文のためのレポーティング・チェックリストであり、レビューした文献に照らして検証し、体系的な方法論上のギャップを特定します。(3) タスクファミリー、メタデータ要件、および制御された分岐タスクを含むベンチマーク手順仕様で、加えて手法選択の意思決定ツリーを伴います。
本合成の結果は、推論からエージェント型RLへの移行がクレジット割当の状況を複雑化し、再形成することを示唆します。推論CAは、プロセス報酬モデルおよび批評家（クリティック）なしのグループ比較の周りで成熟が進んでいるのに対し、エージェント型CAは、真正面から新しいアプローチを推進しています――すなわち、indsight（後知恵）に基づく反実仮想解析、特権的な非対称クリティック、ターンレベルのMDP再定式化――これらはいずれも推論RLには直接の先例がありません。
推論からエージェンティックへ：大規模言語モデルにおける強化学習の信用割当
arXiv cs.CL / 2026/4/13
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデルに対する強化学習における「信用割当（credit assignment）」問題を扱う。疎な報酬が結果レベルでしか与えられないため、どの過去のトークンや行動が成功や失敗を引き起こしたのかを特定しにくい。
- 信用割当を、2つのレジーム—推論RL（非常に長い1本のチェーン・オブ・ソート生成にまたがる信用割当）と、エージェンティックRL（複数ターンにわたる、確率的で部分観測的な相互作用であり、長いホライゾンにまたがる信用割当）—として整理している。
- 著者らは、2024年から2026年初頭にかけての信用割当手法47件を調査し、割当の粒度（トークン／セグメント／ステップ／ターン／マルチエージェント）と手法の種類（例：モンテカルロ、時間差分、モデルベース、ゲーム理論／情報理論に基づくもの）によって体系化した分類法（タクソノミー）を提案する。
- 再利用可能な成果物として、論文を機械可読な形で管理したインベントリ、手法上のギャップを明らかにするためのレポーティング・チェックリスト、タスクファミリー、メタデータ要件、制御された実験、手法選択のための意思決定ツリーを含むベンチマーク手順を提供する。
- 分析の結論として、エージェンティックRLは推論RLで一般的なものを超えた、新たな信用割当の課題を生み、それを動機として、少なくともハインドサイト反事実分析、特権付き（非対称な）クリティック、ターンレベルのMDP再定式化といった新しい手法が必要になると述べている。
