RLVRにおけるトークンレベルのクレジット割当を再考：極性—エントロピー分析

要旨: 強化学習における検証可能な報酬（RLVR）は、大規模言語モデル（LLM）の推論能力を大幅に改善した。しかし、その疎な「結果（アウトカム）ベース」の報酬は、根本的なクレジット割当（credit assignment）問題を引き起こす。われわれは、この問題を報酬の極性（polarity）とトークンのエントロピー（token entropy）の両面から分析する。診断ツールである「Four Quadrant Decomposition（四象限分解）」は、極性とエントロピーによってトークン更新を分離し、制御されたアブレーションにより、推論の改善が高エントロピーの象限に集中していることを示す。この観察を理論的に正当化するため、われわれは条件付き相互情報量（Conditional Mutual Information）を自己回帰的なRLVR設定へ適応し、トークンが担いうるクレジットはそのエントロピーによって上界づけられることを証明する。この見方により、推論の向上は主として高エントロピーのトークンから生じること、そして正の更新と負の更新にはそれぞれ固有の役割があることを、検証可能な予測として導く。GRPOの勾配解析により、さらに、報酬の一様なブロードキャストが高エントロピー位置でシグナルを希釈する一方で、決定的（deterministic）なトークンに過大なクレジットを与えることが明らかになる。これらの洞察に基づき、トークンレベルの学習信号をそれに応じて調整する「Entropy-Aware Policy Optimization（EAPO；エントロピーに配慮した方策最適化）」を提案する。大規模な実験により、EAPOは2つのモデル系統において強力なベースラインを上回ることを示す。