LLMsに推論を教える際、複雑な損失関数は必要ですか？

Abstract

大規模言語モデル（LLMs）における最近の進展は、推論能力と数学的能力を向上させるための事後訓練技術の重要性を浮き彫りにしています。Group Relative Policy Optimization (GRPO) は、グループ相対優位性推定、PPO風のクリッピング、KL正則化を組み合わせることでこの分野で有望であることを示しています。しかし、その複雑さは、推論行動を育成するのにすべての成分が必要かどうかという疑問を投げかけます。GRPOの体系的な分析を行い、二つの重要な発見を特定しました: (1) 負のフィードバックを組み込むことは不可欠であり、基準以上の行動のみに対する訓練は学習を制限します; および (2) ポリシー比クリッピングのようなPPO風の制約は、数学的推論や性能を向上させるためには必要ありません。これらの洞察に基づき、REINFORCE with Group Relative Advantage (RGRA) を提案します。これは、グループ相対優位性推定を保持しつつ、PPO風のクリッピングとポリシー比項を削除した簡略化されたバリアントです。標準的な数学ベンチマークにおける実験は、RGRA が GRPO よりも強力な性能を達成する可能性があることを示しています。我々の結果は、より単純なREINFORCEベースのアプローチがLLMsの推論を効果的に向上させることができ、GRPOよりも透明で効率的な代替手段を提供することを示唆しています。