Market-Bench：経済・通商競争における大規模言語モデルのベンチマーク

要旨: 大規模言語モデル（LLM）が経済資源を管理し、獲得する能力については、いまだ明確ではありません。本論文では、経済・貿易の競争を通じて、経済的に関連するタスクにおけるLLMの能力を評価する包括的なベンチマークである\textbf{Market-Bench}を提案します。具体的には、LLMが商品を調達し小売する小売エージェントとして振る舞う、構成可能なマルチエージェントのサプライチェーン経済モデルを構築します。\textbf{調達（procurement）}の段階では、LLMは予算制約のあるオークションで限られた在庫に対して入札します。\textbf{小売（retail）}の段階では、LLMは小売価格を設定し、マーケティング用のスローガンを生成し、購入のために役割ベースの注意（attention）メカニズムを通じてそれらを買い手に提供します。Market-Benchは、入札、価格、スローガン、販売、そして貸借対照表（バランスシート）状態の軌跡を記録し、経済・運用・意味論的（semantic）な指標による自動評価を可能にします。20の公開・非公開ソースのLLMエージェントを用いたベンチマークでは、大きな性能差と、勝者総取り（winner-take-most）現象、\textit{i.e.}、すなわち少数のLLM小売業者だけが一貫して資本の増加（capital appreciation）を達成できる一方で、多くのエージェントは、意味の一致（semantic matching）スコアが類似しているにもかかわらず、損益分岐点の周辺（break-even point）にとどまることが明らかになりました。Market-Benchは、競争的な市場においてLLMがどのように相互作用するのかを研究するための、再現可能なテストベッドを提供します。