DV-World：実世界シナリオにおけるデータ可視化エージェントのベンチマーク

要旨: 現実世界のデータ可視化（DV）には、ネイティブな環境的基盤づけ（grounding）、クロスプラットフォームでの進化、そして主導的な意図整合（intent alignment）が必要です。しかし、既存のベンチマークはしばしば、コード用サンドボックスへの閉じ込め、単一言語での作成のみを問うタスク、そして意図が完璧であるという前提に悩まされます。これらのギャップを埋めるために、我々はDV-Worldを導入します。これは260のタスクから成るベンチマークで、現実世界のプロフェッショナルなライフサイクル全体にわたってDVエージェントを評価することを目的としています。DV-Worldは3つの領域にまたがります。DV-Sheetは、チャートやダッシュボードの作成に加えて、診断・修復も含むネイティブなスプレッドシート操作です。DV-Evolutionは、多様なプログラミングパラダイムにまたがる新しいデータに適合させるために、参照となる可視化アーティファクトを適応・再構築することです。そしてDV-Interactは、現実世界での曖昧な要件を模倣するユーザシミュレータとの対話を通じて、主導的に意図整合を行うことです。我々のハイブリッドな評価フレームワークは、数値精度のためのTable-value Alignmentと、意味・視覚の評価のためのルーブリックを用いたMLLM-as-a-Judgeを統合しています。実験の結果、最先端モデルは全体性能で50%未満しか達成できず、現実世界のデータ可視化が抱える複雑な課題への対応に重大な欠陥があることが明らかになりました。DV-Worldは、エンタープライズのワークフローに必要とされる多才な専門性へと開発を導くための、現実的なテストベッドを提供します。我々のデータとコードは \\href{https://github.com/DA-Open/DV-World}{このプロジェクトページ} で利用可能です。