経験リプレイによるLLMのための効率的な強化学習トレーニング

Abstract

経験再生（Experience Replay）――訓練中にロールアウトを保存し、それを複数回再利用する実践――は一般的な強化学習における基礎的な手法ですが、LLMのポストトレーニングでは、高い性能には新しいオンポリシーのデータが不可欠だという考えが広く行き渡っているため、ほとんど研究されていません。本研究ではこの前提に挑みます。私たちは、LLMのポストトレーニングにおけるリプレイバッファの体系的な調査を行い、最適設計を、陳腐化（staleness）によって生じる分散、サンプルの多様性、そして生成に伴う高い計算コストのトレードオフとして形式化します。生成が高価である場合、厳密なオンポリシーサンプリングは最適ではないことを示します。実験的に、適切に設計されたリプレイバッファによって、推論の計算量を大幅に削減でき、最終的なモデル性能を損なうことなく（場合によってはさらに向上させることさえでき）、さらにポリシーエントロピーも維持できることを示します。