コンテキスト・ブートストラップ型強化学習

要約: 検証可能な報酬に基づく強化学習（RLVR）は、探索の非効率性に悩まされ、モデルが成功するロールアウトを生成するのに苦労し、学習信号が最小限になります。この課題は、新規の推論パターンやドメイン固有の知識の獲得を必要とするタスクにとって特に深刻です。この課題に対処するために、Context Bootstrapped Reinforcement Learning（CBRL）を提案します。CBRLは、RLVRのトレーニングを強化するために、訓練プロンプトへ数ショットのデモンストレーションを確率的に前置します。注入確率は早期探索をブートストラップするために高く始まり、最終的にはゼロへと減衰するカリキュラムに従います。これにより、方針はデモンストレーションから推論パターンを内部化し、テスト時にそれらに依存することを避けます。私たちはCBRLを2つのモデルファミリと5つのReasoning Gymタスクで検証します。結果は、CBRLが一貫して成功率を改善し、探索効率を向上させ、アルゴリズムに依存しないことを示しています。さらに、CBRLの実用性を、主流の言語慣習と大きく異なるドメイン固有のプログラミング言語Qに対して示します。