ARISE: 階層的強化学習における内在的スキル進化によるエージェント推論

要約: 言語モデルの数学的推論能力を向上させる支配的なパラダイムは、検証可能な報酬を伴う強化学習に依存しています。
しかし既存の方法は、訓練中に現れて蓄積される再利用可能な戦略を活用することなく、それぞれの問題インスタンスを個別に扱います。
この目的のために、ARISE（Agent Reasoning via Intrinsic Skill Evolution）を導入します。階層的な強化学習フレームワークで、共有ポリシーは高レベルでのスキル管理と低レベルでの応答生成の双方を操作します（それぞれ Skills Manager および Worker として表されます）。
マネージャーは、実行後の成功した解法の痕跡を構造的に要約する専用のスキル生成ロールアウトを通じて階層的なスキルライブラリを維持し、実行前に将来のロールアウトを条件づけるための関連スキルを取得するためのポリシー駆動の選択機構を採用します。
階層的報酬設計は、推論能力とライブラリ品質の共進化を導きます。
2つのベースモデルと、競技数学および Omni-MATH の両方を網羅する7つのベンチマークを対象とした実験は、ARISE が GRPO ファミリーのアルゴリズムおよびメモリ拡張ベースラインを一貫して上回ることを示し、分布外タスクで特に顕著な向上を示します。
アブレーション実験は、各要素が観察された改善に寄与すること、そしてライブラリ品質と推論性能が訓練を通じて連動して向上することを確認します。
コードは以下で利用可能です \href{https://github.com/Skylanding/ARISE}{https://github.com/Skylanding/ARISE}。