RiskWebWorld：EC（eコマース）リスク管理におけるGUIエージェントのための、現実的なインタラクティブ・ベンチマーク

概要: グラフィカルユーザインタフェース（GUI）エージェントはウェブ業務の自動化において強力な能力を示しますが、既存のインタラクティブ・ベンチマークは主に良性で予測可能な一般消費者環境を対象にしています。真正のeコマースにおけるリスク管理のような、高リスクで調査を伴う領域での有効性は、十分に検討されていません。このギャップを埋めるために、私たちはRiskWebWorldを提示します。これは、eコマースのリスク管理におけるGUIエージェントを評価するための、最初の高度に現実的なインタラクティブ・ベンチマークです。RiskWebWorldは、8つの主要ドメインにまたがる本番のリスク制御パイプラインから収集した1,513件のタスクを備えており、協力的でないウェブサイトにおけるリスク運用の、部分的な環境ハイジャックを含む本物の課題を捉えます。スケーラブルな評価とエージェント強化学習（RL）を支えるために、私たちはさらに、方策の計画から環境のメカニクスを切り離す、Gymnasium準拠の基盤インフラストラクチャを構築しました。多様なモデルに対する評価の結果、顕著な能力ギャップが明らかになりました。最上位の汎用モデルは成功率49.1%を達成する一方で、専用のオープンウェイトGUIモデルはほぼ全滅に近い失敗にとどまります。これは、長期の専門的タスクにおいては、現在のところファウンデーションモデルの規模が、ゼロショットのインタフェースへの適応（グラウンディング）よりも重要であることを示しています。また、エージェント強化学習を通じて、私たちのインフラが実行可能であることも実証しました。これにより、オープンソースモデルの性能が16.2%改善します。これらの結果は、RiskWebWorldを、堅牢なデジタルワーカーを開発するための実用的な試験台として位置付けます。