実環境におけるLLMのツール利用をベンチマークする

Abstract

大規模言語モデルによるマルチターン・マルチステップのツール使用を通じてユーザのニーズを満たすことは、ほとんどの場合、単純なプロセスではありません。実際のユーザとのやり取りは本質的に「荒れ模様」であり、複雑で、めちゃくちゃで、柔軟です。私たちはユーザ行動から、3つの主要な課題を特定します。すなわち、ツール呼び出しのトポロジを効率的にオーケストレーションすることを要求する合成的タスク、対話のターンをまたいで暗黙に意図が拡散するために文脈推論が必要となる点、そしてタスクの問い合わせ・確認・雑談が混在し、LLMがその場でポリシーを調整することを強いる「指示の遷移」です。既存のベンチマークはこれらの振る舞いを見落としているため、ツール使用におけるLLMの見かけ上の進歩は見かけにすぎなくなっています。これに対処するために、実世界のユーザ行動パターンに基づくLLMツール使用ベンチマーク「WildToolBench」を導入します。57のLLMに対する包括的な評価の結果、いずれのモデルも精度15%を超えることができず、LLMのエージェント的能力の頑健性における大きなギャップが示されました。制御された実験と詳細な分析はさらに、LLMのツール使用にとっての実際の難しさは、人為的に複雑なタスクではなく、ユーザ行動の「野生的」な性質にあることを示しています。これは、LLM・ユーザ・ツールの相互作用を見直す必要性を強調しています。