ResRL：負のサンプル射影による残差強化学習でLLMの推論力を向上

要旨: 検証可能な報酬による強化学習（RLVR）は、大規模言語モデル（LLM）の推論を強化しますが、通常は正の報酬が過度に過大評価されることによって生成の多様性が限られるという傾向があります。負例強化（NSR）のような手法は、負例からのペナルティを重み付けしてこの問題を緩和しますが、正例応答と負例応答で共有される意味分布を抑制してしまう可能性があります。本論文では、多様性を失わずに推論能力を高めるために、正例と負例の応答間で類似した意味分布を切り離す負例サンプル射影残差強化学習（ResRL）を提案します。理論的に、Lazy Likelihood Displacement（LLD）を負例-正例のヘッド勾配干渉に結び付け、表現アラインメントの上界を与える単一フォワードの近似器を導出し、それを用いて保守的な優位度（advantage）の再重み付けを導きます。次にResRLは、負のトークンの隠れ表現をSVDに基づく低ランクの正部分空間に射影し、射影残差を用いて負の勾配を調整することで、推論を改善しつつ多様性を維持し、数学、コード、エージェントタスク、関数呼び出しにまたがる12のベンチマークにおいて平均で強力なベースラインを上回ります。特にResRLは、数学的推論においてNSRをAvg@16で9.4\%、Pass@128で7.0 y extbackslash%上回っています。コードは https://github.com/1229095296/ResRL.git で公開されています。