鮮度（フレッシュネス）を考慮した優先度付き経験再生によるLLM/VLMの強化学習

要旨: 強化学習（RL）は、事後学習（post-training）の大規模言語モデル（LLM）およびビジョン・言語モデル（VLM）において目覚ましい成功を収めており、PPO、GRPO、REINFORCE++のようなオンポリシー手法が支配的なパラダイムとなっています。 しかし、これらの手法は、単一の勾配更新の後に収集した軌跡をすべて破棄してしまうため、サンプル効率が低くなり、特にマルチターンの環境相互作用が高コストであるエージェント型タスクでは無駄が大きくなります。 経験再生（Experience Replay）は、過去の軌跡を再利用し、有益なものを優先することで、従来のRLにおいてサンプル効率を向上させますが、LLMに対して優先度付き経験再生（Prioritized Experience Replay: PER）をそのまま適用すると失敗します。 10億パラメータ級モデルの急速なポリシー更新により、保存された優先度が陳腐化してしまい、有益ではなくなった後も古い高優先度の軌跡がサンプリングを支配し続けます。 我々は、優先度の陳腐化問題に対処する Freshness-Aware PER（鮮度を考慮したPER）を提案します。これは、有効サンプルサイズの解析に基づく乗法的な指数的な「年齢（age）減衰」を、PERベースの任意の優先度に追加することで実現します。 我々の知る限り、Freshness-Aware PER は、LLM/VLM の強化学習に対して PER を成功裏に適用した最初の研究です。 0.5B、3B、7B のモデルを用いて、8つのマルチステップのエージェント型、推論、および数学の競技タスクで評価します。 Freshness-Aware PER はオンポリシーベースラインを大幅に上回り、NQ Search で +46%、Sokoban で +367%、VLM FrozenLake で +133% の改善を達成します。一方で、年齢減衰を伴わない標準的な PER は一貫して性能を低下させます。 我々のコードは https://github.com/Vision-CAIR/Freshness-Aware-PER で公開されています。