MarketBench：AIエージェントを市場参加者として評価する

要旨: 市場は、より広く市場を正当化するために用いられているのと同様の理由から、類似した理由でAIエージェントの活動を調整する有望な方法です。市場に効果的に参加するためには、エージェントは、自身がタスクを成功裏に完了できる能力と、そのために必要なコストについての、情報量のあるシグナルを持つ必要があります。私たちは、AIエージェントがこれらの能力を有しているかどうかを評価するためのベンチマークであるMarketBenchを提案します。デモとして、最近リリースされた6つのLLMを用い、ソフトウェア工学ベンチマークであるSWE-bench Liteの93タスクの部分集合を使用します。これらのLLMは、成功確率とトークン使用量の両方について不適切に校正（ミスキャリブレーション）されており、この自己報告から構築されたオークションは、完全情報に基づく割り当てから乖離します。事前の実験から得られた能力に関する情報をコンテキストに追加する追補的な介入では、校正が改善されますが、完全情報ベンチマークとのギャップはわずかにしか縮まりません。また、これらのLLMを用いた市場ベースの足場（スキャフォールディング）の性能についても記録します。私たちの結果は、AIエージェントの市場型の協調における重要なボトルネックとして自己評価（セルフアセスメント）を示唆しています。