InterChart：分解された分散型のチャート情報にまたがる視覚推論のベンチマーク

Abstract

私たちは、複数の関連するグラフにまたがって視覚言語モデル（VLM）がどれほど適切に推論できるかを評価する診断ベンチマークであるInterChartを導入します。この課題は、科学的レポーティング、金融分析、公共政策ダッシュボードといった実世界のアプリケーションにおいて中心的です。先行する、視覚的に均一な孤立したグラフに焦点を当てたベンチマークとは異なり、InterChartは、対象の推論（entity inference）やトレンドの相関（trend correlation）から、数値推定（numerical estimation）や、2〜3枚の主題的または構造的に関連したグラフに基づく抽象的な多段推論（abstract multi-step reasoning）に至るまで、多様な質問タイプでモデルに挑戦します。私たちはベンチマークを、難易度の上がる3つの段階に整理します：（1）個々のグラフに対する事実に基づく推論、（2）合成的に整合させたグラフ集合にまたがる統合的な分析、（3）視覚的に複雑な実世界のグラフのペアに対する意味推論です。最先端のオープンソースおよびクローズドソースのVLMを評価した結果、グラフの複雑さが増すにつれて、一貫して、かつ急激に精度が低下することが分かりました。複数のエンティティを含むグラフをより単純な視覚的ユニットへ分解したときのほうが、モデルの性能は良くなることを見出しました。これは、グラフ間統合における難しさを示しています。これらの体系的な制限を明らかにすることで、InterChartは、複雑で多視覚的な環境におけるマルチモーダル推論を発展させるための、厳密な枠組みを提供します。