視覚が問題ではないとき：誤解を招くデータ可視化に対する視覚言語モデルの評価

Abstract

可視化はデータの洞察を伝えるのに役立ちますが、欺瞞的なデータ表現はその解釈を歪め、誤情報を拡散させ得ます。近年の視覚言語モデル（VLM）は多くのチャート理解タスクで高い性能を示す一方で、特にキャプションにおける些細な推論エラーが原因で欺瞞が生じる場合に、誤解を招く可視化を検出できる能力はいまだ十分に解明されていません。ここでは、推論エラーのきめ細かな分類（例：Cherry-picking、因果推論）と可視化デザインエラーの分類（例：切り詰められた軸、二重軸、不適切な符号化）に基づいた、誤解を招く可視化—キャプションのペアに対してVLMを評価します。そのために、特定の推論エラーや可視化エラーの種類を引き出すことを意図して、人手で作成されキュレーションされた誤解を招くキャプションと、実世界の可視化とを組み合わせたベンチマークを開発し、エラーのカテゴリと、誤解を招くことに関わるモダリティ（様式）の間で制御された分析を可能にします。多くの商用およびオープンソースのVLMを評価した結果、モデルは推論に基づく誤情報よりも可視化デザインエラーをはるかに確実に検出することが分かりました。また、しばしば非欺瞞的な可視化を欺瞞的であると誤分類します。総合すると、本研究は「誤解を招くコンテンツの粗い検出」と、「それを引き起こす具体的な推論エラーまたは可視化エラーの帰属（特定）」との間にあるギャップを埋めるものです。