驚異のエージェント・レース：強いツール利用者、弱いナビゲーター

要旨: LLMエージェント向けの既存のツール使用ベンチマークは、ほとんどが直線的です。6つのベンチマークを分析した結果、事例の55〜100%が、2〜5ステップの単純なチェーンであることが分かりました。私たちは「The Amazing Agent Race（AAR）」を導入します。これは、分岐・合流を伴うツールチェーンを特徴とする、有向非巡回グラフ（DAG）パズル（または「レッグ」）のベンチマークです。2つのバリアントにわたり、1,400件のインスタンスを公開します：逐次型（800レッグ）と、合成型（600件のDAGレッグ）です。エージェントはWikipediaをナビゲートし、複数ステップのツールチェーンを実行し、検証可能な回答へと結果を集約する必要があります。レッグは、Wikipediaのシードから4段階の難易度で手続き的に生成し、ライブAPIによる検証を行います。3つの補完的な指標（ゴール通過精度、ピットイン訪問率、ブロック解除率）はそれぞれ、ナビゲーション、ツール使用、および算術の失敗を個別に診断します。1,400レッグに対して3つのエージェント枠組みを評価したところ、最良でも精度は37.2%にとどまりました。ナビゲーションエラーが支配的で（試行の27〜52%）、ツール使用エラーは17%未満です。また、エージェントのアーキテクチャはモデル規模と同程度に重要であり、Claude CodeはCodex CLIと同じ37%を、トークン数は6分の1で達成しています。AARの合成的な構造は、エージェントがツールを呼び出す段階では失敗していないこと、つまり正しいページへナビゲートできないことが失敗要因であることを明らかにします。この盲点は、直線的ベンチマークでは見えません。プロジェクトページは以下でアクセスできます：https://minnesotanlp.github.io/the-amazing-agent-race