Skill-SD: マルチターンLLMエージェントのためのスキル条件付き自己蒸留

要旨: 強化学習（RL）は、多ターンのインタラクティブタスクのためにLLMエージェントを訓練するのに広く用いられている一方で、サンプル効率は疎な報酬と長いホライズンによって大幅に制限されています。オンポリシー自己蒸留（OPSD）は、正解（ground-truth）へのアクセスを持つ特権教師から、密なトークン単位の教師信号を与えることでこの問題を緩和します。しかし、このような固定された特権情報では、エージェントタスクにおける多様な妥当な戦略を捉えることができず、OPSDをRLに単純に組み合わせると、多くの場合訓練が崩壊（training collapse）に至ります。これらの制限に対処するために、本稿では、エージェント自身の軌跡を動的な訓練のみの教師信号へと変換する枠組み「Skill-SD」を導入します。完了した軌跡は、成功した振る舞い、ミス、ワークフローを記述する、コンパクトな自然言語スキルとして要約されます。これらのスキルは、教師に対してのみ動的な特権情報として機能し、学生は常に素のタスクプロンプトのもとで行動し、蒸留を通じてその誘導（guidance）を内面化することを学びます。訓練を安定化するために、勾配補正されたトークン単位の蒸留を提供する重要度付き逆KL（importance-weighted reverse-KL）損失を導出し、改善する学生に合わせて教師を動的に同期させます。エージェント型ベンチマークでの実験結果は、Skill-SDが標準のRLベースラインを大幅に上回ることを示しており、バニラGRPO（AppWorld/Sokobanで+14.0%/+10.9%）およびバニラOPD（+42.1%/+40.6%）のいずれも改善しています。プロジェクトページ: https://k1xe.github.io/skill-sd/