視覚言語モデルは本当に視覚推論を行っているのか？「モダリティギャップ」を精密に検証する研究

Abstract

視覚言語モデル（VLM）における推論は、その下流タスクへの幅広い適用可能性により、近年大きな注目を集めています。とはいえ、VLMの優れた性能が、真に視覚に根ざした推論によるものなのか、それとも主としてテキスト的バックボーンが持つ推論能力に依存しているのかは、いまだ明確ではありません。そこで、これを体系的に測定するために、制御されたクロスモーダル比較のための新しいマルチモーダル推論ベンチマークであるCrossMathを提案します。具体的には、各問題をテキストのみ、画像のみ、画像+テキストの形式で構築し、タスクに関係する情報が同一であることを保証します。これは人手によるアノテータによって検証されています。この厳密なアラインメントにより、情報の不一致のような要因による混同を排除しつつ、モダリティ固有の推論の差異を効果的に切り離します。最先端のVLMに対する大規模な評価の結果、次の一貫した現象が明らかになりました。すなわち、テキスト推論と視覚推論の間には大きな性能差が存在する、ということです。特に、VLMはテキストのみの入力では高い性能を示す一方で、視覚データ（画像+テキスト）を組み込むと、テキストのみのベースラインと比べて性能が低下することがしばしばあります。これらの結果は、現在のVLMが推論を主としてテキスト空間で行っており、視覚的証拠への真の依存は限定的であることを示唆しています。この制限を緩和するために、VLMの微調整（fine-tuning）用としてCrossMathの学習セットを作成しました。実験的評価では、この学習セットで微調整することにより、個々のモダリティとそれらの組み合わせのすべてにおいて推論性能が大幅に向上し、さらに2つの一般的な視覚推論タスクでも堅牢な改善が得られることが示されています。ソースコードはhttps://github.com/xuyige/CrossMathで公開されています。