エージェント型AIのためのスキル検索拡張（SRA）

Abstract

大規模言語モデル（LLM）がエージェント的な問題解決者へと進化するにつれ、生来のパラメトリックな能力の範囲を超えるタスクを処理するために、外部の再利用可能なスキルにますます依存するようになります。既存のエージェントシステムでは、スキルを取り込む主要な戦略として、利用可能なスキルをコンテキストウィンドウ内に明示的に列挙する方法が採用されています。しかし、この戦略はスケールしません。スキルのコーパスが拡大するにつれてコンテキスト予算が急速に消費され、エージェントは適切なスキルを特定する精度が大きく低下してしまうのです。そこで本論文では、必要に応じて大規模な外部スキルコーパスから関連するスキルを動的に取得し、取り込み、適用する新しいパラダイムであるスキル検索拡張（Skill Retrieval Augmentation: SRA）を提案します。この問題を測定可能にするため、大規模なスキルコーパスを構築し、スキル検索、スキル取り込み、そしてエンドタスクの実行をカバーする、SRAの全パイプラインを分解して評価するための最初のベンチマークであるSRA-Benchを導入します。SRA-Benchには、能力集約的なテストインスタンス5,400件と、手動で構築したゴールドスキル636件が含まれており、さらにWeb収集による紛らわしいスキル（distractor）と混ぜ合わせることで、26,262件のスキルからなる大規模コーパスを形成しています。大規模な実験の結果、検索ベースのスキル拡張はエージェントの性能を大幅に向上させ、このパラダイムの有望さを裏づけることが示されました。同時に、スキル取り込みにおける根本的なギャップも明らかになりました。すなわち、現在のLLMエージェントは、ゴールドスキルが取得されたかどうかにかかわらず、またタスクが実際に外部能力を必要としているかどうかにかかわらず、ほぼ同じ割合でスキルを読み込む傾向があるのです。これは、スキル拡張のボトルネックが検索だけにあるのではなく、どのスキルを読み込むべきか、そして外部読み込みがいつ本当に必要なのかを判断するベースモデルの能力にもあることを示しています。これらの発見により、SRAは明確な研究課題として位置づけられ、将来のエージェントシステムにおける能力のスケーラブルな拡張のための基盤が確立されます。