予測エージェントにおける戦略的推論の評価

要旨: 予測ベンチマークは精度のランキング（リーダーボード）を生み出しますが、なぜ一部の予測者が他よりも正確なのかについての洞察はほとんど得られません。私たちは、Bench to the Future 2（BTF-2）を紹介します。BTF-2は、固定された15M文書の研究コーパスを用いた、1,417件の過去からの状況推定（pastcasting）問題から成ります。この環境では、エージェントがオフラインで再現可能に研究し、予測を行い、その結果として完全な推論の記録（推論トレース）を生成します。BTF-2は、Brierスコアで0.004の精度差を検出でき、研究と判断のそれぞれにおいてエージェントの相対的な強みの違いを識別できます。私たちは、どの単一の最先端エージェントよりもBrierスコアで0.011高い精度の予測者を構築し、それを用いて、後知恵バイアスなしにエージェントの戦略的推論を評価します。より優れた予測者の主な違いは、盲点の事前検討（pre-mortem）における分析と、ブラックスワンの考慮にあります。専門の人間の予測者は、最先端エージェントの支配的な戦略的推論の失敗が、政治的・ビジネス上のリーダーのインセンティブの評価、表明された計画を実行に移す可能性の判断、そして制度的なプロセスのモデリングにあることを見出しました。