SkillFlow：自律エージェントのための生涯スキル発見と進化のベンチマーク

要旨: 自律エージェントの能力フロンティアが拡大し続けるにつれ、彼らはプラグアンドプレイの外部スキルによって、ますます専門的なタスクを完了できるようになっています。しかし、現在のベンチマークの多くは、モデルが与えられたスキルを使えるかどうかを主に試しており、スキルを経験から発見できるか、失敗後にスキルを修復できるか、そして時間の経過とともに一貫したスキルライブラリを維持できるかといった点は未解決のままです。私たちは SkillFlow を提案します。これは、20のファミリにまたがる166タスクからなるベンチマークであり、各ファミリ内でのタスク構築が、エージェントのワークフローの枠組みを定義するドメイン非依存実行フロー（DAEF）に従うことで、これらのタスクが一貫したワークフローを共有できるようにしています。エージェントは、ライフロングなエージェンティック・ラーニング（Agentic Lifelong Learning）のプロトコルにより評価されます。このプロトコルでは、エージェントはスキルなしで開始し、各ファミリ内でタスクを順次に解き、軌跡とルーブリックに基づくスキル・パッチを通じて教訓を外部化し、更新されたライブラリを次へと持ち越します。実験の結果、この方向性には大きな能力ギャップがあることが明らかになりました。Claude Opus 4.6 では、ライフロングなスキル進化によってタスク成功が 62.65% から 71.08% へ向上します（+8.43ポイント）。しかし、高いスキル使用は必ずしも高い有用性を意味しません。Kimi K2.5 は 66.87% のスキル使用にもかかわらず、+0.60ポイントの増加にとどまります。一方、Qwen-Coder-Next は 44.58% のタスク完了率にしか到達せず、さらにバニラ設定に対して退行します。SkillFlow は、この方向性のための構造化されたテストベッドと、ライフロング評価下におけるスキル発見、パッチ適用、転移、およびそれらの失敗モードに関する詳細な実証分析を提供します。