現場（実環境）ではエージェント的スキルはどれほど機能するのか：現実的な状況におけるLLMスキル活用のベンチマーク

Abstract

再利用可能なドメイン固有の知識アーティファクトであるエージェント技能は、LLMベースのエージェントを拡張するための一般的な仕組みになってきましたが、技能の使用パフォーマンスを形式的にベンチマークする取り組みは依然として乏しいです。既存の技能ベンチマークでは、LLMに対して各タスクに合わせて手作業で作られた、狭く調整されたタスク固有の技能が直接与えられるような、過度に理想化された条件に焦点が当てられています。一方、多くの現実的な状況では、LLMエージェントが自ら関連する技能を探索して選択しなければならず、さらに最も近い一致を示す技能であってもタスクにうまく適合していない可能性があります。本論文では、エージェントが34k件の実世界の技能という大規模なコレクションから技能を検索して取得する必要があり、手でキュレーションされた技能に一切アクセスできない場合もある、段階的に難しくなる現実的な設定下での技能有用性に関する初の包括的研究を行います。得られた結果から、技能の利点は脆弱であることが明らかになりました。設定がより現実的になるにつれて、パフォーマンス向上が一貫して低下し、最も難しいシナリオではパス率が無技能ベースラインに近づきます。このギャップを狭めるために、クエリ固有およびクエリ非依存のアプローチを含む技能洗練戦略を研究し、初期の技能が妥当な関連性と品質を持つ場合には、クエリ固有の洗練が失われた性能を大幅に回復できることを示します。さらに、Terminal-Bench 2.0における取得と洗練の一般性も示し、それらによってClaude Opus 4.6のパス率を57.7%から65.5%へと改善します。複数のモデルにわたって一貫している本結果は、LLMベースのエージェントにとっての技能の可能性と、現在の限界の両方を浮き彫りにしています。コードは https://github.com/UCSB-NLP-Chang/Skill-Usage で利用可能です。