SFT（教師あり微調整）→RLがLLM推論における混合ポリシー手法を上回る

要旨: LLMの推論に対する最近の混合方策最適化手法では、教師あり学習と強化学習の信号を交互に織り込む、あるいはブレンドすることで、標準的なSFT（Supervised Fine-Tuning）→RLパイプラインより改善が得られると報告されています。本稿では、最近公開された多数の研究論文が、2つの別個の不具合によって引き起こされる誤ったベースラインに依存していることを示します。具体的には、DeepSpeedにおけるCPUオフロード型オプティマイザの不具合で、勾配蓄積（gradient accumulation）中に中間のマイクロバッチがサイレントにドロップされます（TR​​L、OpenRLHF、Llama-Factoryを含む複数の下流フレームワークに影響）。さらに、OpenRLHFにおける損失集約の不具合により、ミニバッチごとの損失に対して誤った重み付けが行われます。これらはSFTの性能を抑制し、オプティマイザ不具合が主にそのギャップの原因となり、損失集約不具合はより小さな追加効果を与えるにとどまります。これらを修正すると、標準的なSFT→RLパイプラインは、評価したあらゆる公開済みの混合方策手法を上回ります。Qwen2.5-Math-7Bで数学ベンチマークにおいて+3.8ポイント、Llama-3.1-8Bでは+22.2ポイントです。さらに、RLステップを50ステップに切り詰めた変種であっても、FLOPsを少なくしつつ、数学ベンチマーク上で混合方策手法を上回ります。