戦略的ナビゲーションか、それとも確率的探索か？エージェントと人間は文書コレクションをどのように推論するか

要旨: マルチモーダルエージェントは、複雑な文書集約ワークフローを自動化する有望な道を提供します。しかし、重要な疑問が残ります。これらのエージェントは真の戦略的推論を示すのでしょうか、それとも単なる確率的な試行錯誤の探索なのでしょうか。これに対処するため、800種類の異種PDF文書に基づく2,250の人間が作成した質問からなるMADQAを導入します。古典的検査理論に基づき、エージェントの能力のさまざまなレベルにわたって識別力を最大化するよう設計しています。エージェントの挙動を評価するために、正確さと労力のトレードオフを測定する新しい評価プロトコルを導入します。この枠組みを用いて、最も優れたエージェントは生データにおける正確さで人間の検索者と同等に匹敵するものの、ほとんど異なる質問に対して成功し、弱い戦略的計画を補うために総当たり検索に依存し、オラクルの性能との差をほぼ20%縮めることができず、非生産的なループが続くことを示します。我々はデータセットと評価ハーネスを公開し、総当たり検索による取得から較正済みで効率的な推論への移行を促進するのを手助けします。