報酬モデルは実は価値関数：Temporally Coherent Reward Modeling

要旨: RLHFにおける報酬モデルは、応答の最終トークンのみをスコアするように学習されます。これは、すべての中間位置から得られる豊かな信号を捨て去り、トークン単位の出力がノイズになるモデルを生み出す選択です。我々は、これは取り逃がした機会だと主張します。十分に学習された報酬モデルの任意のトークンにおける出力は、これまでの応答に条件づけた最終報酬の条件付き期待値を表すべきです。我々は、標準的なBradley-Terry損失の上に2つの正則化項を加えることでこの性質を誘導する、Temporally Coherent Reward Modeling（TCRM）を提案します。最小化解は条件付き期待値に等しいことが理論的に証明されます。これらの正則化項はモンテカルロおよびTD価値学習の目的に対応し、RLの価値関数との直接的な関係を確立します。TCRMは、アーキテクチャ、データ、推論に対する変更をゼロにしつつ、同一の原理から3つの能力を解き放ちます。すなわち、解釈可能なトークン単位の報酬軌道（中間トークンのペアワイズ精度が50%から88.9%へ改善、最終トークン精度は維持）；結果データのみで学習したモデルの中でProcessBenchにおける最先端のPRM性能（平均F1が44.9%）；そしてPPOにおける報酬/価値の統一的モデリングで、ピークGPUメモリを27%削減し、ステップ時間を19%短縮しつつ、LLMの品質は一致させます。