Graph-to-Vision：Vision-Languageモデルによる多重グラフ理解と推論

抽象: 近年の視覚-言語モデル（VLM）における進歩により、可視化されたグラフデータを解釈する有望な能力が示され、従来のグラフニューラルネットワーク（GNN）を超えたグラフ構造推論のための新しい視点が提示されています。しかし、既存の研究は主として単一グラフの推論に焦点を当てており、多グラフの共同推論という重要な課題は十分に調査されていません。本研究では、VLMの多グラフ推論能力を評価し、かつ向上させるために設計された最初の包括的なベンチマークを導入します。本ベンチマークは、4つの一般的なグラフ型—知識グラフ、フローチャート、マインドマップ、経路マップ—を対象とし、複雑さが増すタスクに加えて、同種および異種のグラフ群化の両方をサポートします。さらに、多次元のスコアリング枠組みに基づいて、いくつかの最先端のVLMを評価します。この枠組みでは、グラフのパース、推論の一貫性、指示追従の正確性を評価します。加えて、複数のオープンソースモデルを微調整し、一貫した改善が観察され、データセットの有効性が確認されます。本研究は、多グラフ理解を前進させるための原理的な一歩を提供するとともに、クロスモーダルなグラフ知能に関する新たな機会を明らかにします。