大規模言語モデルに対するオフポリシー価値ベース強化学習

Abstract

データ利用効率の改善は、軌跡（トラジェクトリ）を生成するコストが高い長いホライズンのタスクに対して強化学習（RL）をスケールさせるうえで重要です。しかし、LLM向けの支配的なRL手法は大部分がオンポリシーです。これらは各データバッチを一度だけ更新し、その後捨てて、改めて新しいサンプルを収集するため、サンプル効率が低くなります。本研究では、LLM向けのオフポリシー学習を自然に可能にする、代替の価値ベースRLフレームワークを探究します。私たちは、内部整合性を捉えるステップごとの信号と、結果の検証に基づく軌跡レベルの信号を組み合わせた、ベルマン更新に基づく手法ReValを提案します。ReValはリプレイバッファに基づく学習を自然にサポートし、過去の軌跡を効率的に再利用できるようにします。標準的な数学的推論ベンチマークでの実験により、ReValは収束がより速いだけでなく、最終性能においてGRPOを上回ることが示されます。DeepSeek-R1-Distill-1.5Bでは、ReValは学習効率を改善し、GRPOに対してAIME24で2.7%の向上、さらにドメイン外ベンチマークGPQAで4.5%の向上を達成しました。これらの結果は、価値ベースRLが、LLM学習における方策ベース手法の実用的な代替となり得ることを示唆しています。