トークンレベル・ポリシー最適化：シーケンスレベルの尤度によってグループレベル報酬をトークンレベル集約に結び付ける

概要: 群相対方策最適化（Group Relative Policy Optimization, GRPO）は、大規模言語モデル（LLM）の推論能力、特に数学的推論性能を大きく前進させてきました。しかし、GRPOおよび関連するエントロピー正則化手法は、連鎖思考（CoT）推論に固有の課題であるトークンレベルの疎なリワードに対して、いまだに苦戦しています。これらの手法はしばしば、差分のつかないトークンレベルのエントロピー正則化に依存しており、疎なトークン報酬のもとではエントロピーの崩壊やモデルの劣化を容易に引き起こします。本研究では、(1) トークンレベルの集約を通じて、配列レベルの尤度を用いてグループレベルのリワードと個々のトークンを結び付け、(2) 正のアドバンテージを持つトークンで、かつエントロピーが減少しているものを対象とするトークンレベルのKLダイバージェンス・マスク制約を導入する、新しいトークンレベルの枠組みTEPOを提案します。実験の結果、TEPOは数学的推論ベンチマークにおいて最先端の性能を達成するだけでなく、学習の安定性も大幅に向上し、GRPO/DAPOと比較して収束時間を50%短縮することが示されました。