オープンで信頼でき、そして共同的に：ツールを使うAIエージェントのためのコミュニティ主導型フレームワーク

概要: ツール統合型LLMは、外部ツールを介して情報の取得、計算、そして現実世界での実行を行えますが、信頼性は依然として主要なボトルネックです。私たちは、失敗の原因が、ツール使用の正確さ（エージェントがツールをどれだけ適切に呼び出すか）と、固有のツール正確さ（ツール自体の正しさ）の両方にあると主張します。一方で、先行研究の多くは前者に重点を置いています。私たちは、ツールスキーマを標準化し、軽量なプラグアンドプレイのラッパーを提供し、自動テストスイートと継続的な監視によってツールを評価する、コミュニティ主導のツールボックス「OpenTools」を提案します。また、ユーザーが事前定義されたエージェントとツールを実行し、テストケースを提供できるパブリックなウェブデモも公開します。これにより、ツールが変化するにつれて信頼性レポートが発展していきます。OpenToolsには、コアとなるフレームワーク、最初のツールセット、評価パイプライン、および貢献プロトコルが含まれます。実験と評価の結果、エンドツーエンドの再現性とタスク性能が向上することが示されました。さらに、コミュニティが貢献した高品質なタスク特化ツールは、下流タスクとベンチマークにおいて、複数のエージェントアーキテクチャにわたって、既存のツールボックスに対し相対的に6%〜22%の改善をもたらします。これは、固有のツール正確さの重要性を強調しています。