単一のプロットを超えて：複数チャートに対する質問応答のためのベンチマーク

Abstract

図表は、複雑な情報を提示するために広く用いられています。現実世界の文脈において有意義な洞察を導くには、複数の関連する図表をあわせて解釈することがしばしば必要です。多図表画像の理解に関する研究は、十分に深くは検討されてきませんでした。本研究では、多図表画像に対する質問応答のために特化して設計された中規模データセット「PolyChartQA」を提案します。PolyChartQAは、査読付きの計算機科学研究の出版物から収集した534枚の多図表画像（合計2,297枚の下位図表を含む）と、2,694個のQAペアから構成されます。私たちは、9つの最先端のマルチモーダル言語モデル（MLM）のPolyChartQAにおける性能を、質問タイプ、難易度、質問ソース、そして多図表の主要な構造的特徴の観点で評価します。その結果、MLMが生成した質問と比べて、人手による質問ではLLMベースの精度（L-Accuracy）が27.4%低下すること、また提案するプロンプト手法によってL-accuracyが5.39%向上することが示されました。