FrontierFinance: 現実世界の金融タスクを対象とした長期ホライズンのコンピュータ利用ベンチマーク

要旨: AI主導の労働移行（職務の代替）が、知識集約的な産業において深刻化するにつれ、既存のベンチマークは、実務における専門職としての実力を規定するタスクに対する性能を測定できていません。特にファイナンスは、AIへのエクスポージャー（リスク）が高い領域として特定されていますが、現実世界での進展を追跡するための堅牢なベンチマークが欠けています。このギャップは、現在の大規模言語モデル（LLM）導入において明確な説明責任（アカウンタビリティ）の仕組みが存在しないことによってさらに拡大しています。これに対処するため、私たちはFrontierFinanceを導入します。これは、5つの中核となるファイナンスモデルにまたがる25の複雑な金融モデリング課題から成る長期（ロングホライゾン）のベンチマークで、各課題の完了に平均して18時間超の熟練した人間の労働を要します。金融の専門家とともに開発したこのベンチマークは、業界標準の金融モデリングのワークフローを反映しており、構造化された評価のための詳細なルーブリックと組み合わせられています。私たちは人間の専門家を起用し、課題の定義、ルーブリックの作成、LLMの採点、そして課題そのものの実行（人間ベースライン）を行います。さらに、私たちの人間の専門家は平均でより高いスコアを得るだけでなく、現行の最先端システムよりも、クライアント提出に適したアウトプットを提供する可能性が高いことを示します。