SpecVQA：科学画像におけるスペクトル理解とビジュアル質問応答のためのベンチマーク

要旨: スペクトルは、広く用いられている一方で非常に情報密度の高い科学的画像の形式であり、非構造的かつ領域固有の特徴を持つため、多モーダル大規模言語モデル（MLLM）に対して大きな課題を突きつけます。ここでは、専門家が注釈した質問-回答ペアからなる7つの代表的なスペクトル型を含む、科学スペクトル理解のための多モーダルモデル評価用の専門的な科学画像ベンチマークであるSpecVQAを提案します。本研究の目的は2つの側面から成ります。すなわち、スペクトル科学的QA評価と、それに対応する基盤となるタスク評価です。SpecVQAには、査読済み文献から厳選した620枚の図と3100組のQAペアが含まれており、直接的な情報抽出と領域固有の推論の両方を対象としています。重要な曲線の特徴を保持しつつトークン長を効果的に削減するために、スペクトルデータのサンプリングおよび補間による再構成手法を提案します。アブレーション研究により、本手法が提案ベンチマーク上で大幅な性能向上を達成することも確認されます。さらに、当該ベンチマークにおいて、主要なMLLMが科学スペクトル理解をどの程度行えるかを検証し、リーダーボードを提示します。本研究は、多モーダル大規模モデルにおけるスペクトル理解を強化するための重要な一歩であり、視覚-言語モデルをより広範な科学研究やデータ解析へ拡張するための有望な方向性を示唆します。