Grid2Matrix：視覚言語モデルにおけるデジタル失認を明らかにする

要旨: 　視覚-言語モデル（VLMs）は多くのマルチモーダル推論ベンチマークで優れた性能を示しますが、これらの評価ではしばしば画像の完全な読み取り（readout）を必要としません。そのため、すべての視覚的詳細を忠実に捉えることにおける失敗が見えにくくなっています。私たちは、モデルに色グリッドと色から数への対応付けを提示し、対応する行列を出力させる、制御されたベンチマーク Grid2Matrix（G2M）を提案します。グリッドのサイズと色の数を変えることで、G2Mは、意味的な混同要因を最小限に抑えつつ、視覚的な複雑さを高めるための単純な方法を提供します。私たちは、VLMがゼロショットのエンドツーエンド評価において、初期段階で急激に崩壊することを見出しました。課題がより密になるにつれて段階的に劣化していくのではなく、驚くほど小さなグリッドでも失敗します。私たちは、2つの代表的な系列に属するVLMの視覚エンコーダを調べ、その結果、対応するエンドツーエンド出力よりも実質的に多くのグリッド情報が保持されていることを確認しました。これは、この失敗が視覚エンコーディングだけでは説明できず、視覚特徴から回復可能なものと、最終的に言語として表現されるものとの間にギャップがあることを示唆しています。このギャップを extit{デジタル失認（Digital Agnosia）} と呼びます。さらに分析すると、これらの誤りは非常に構造化されており、グリッドセルが視覚パッチ境界とどのように重なっているかに強く依存していることがわかります。また、モデルのスケーリングやマルチモーダルの整合（alignment）といった一般的な手法でも、この失敗モードを完全には解消できないことを見出しました。私たちは、G2Mが、VLMが微細な視覚的詳細をどこで、そしてどのように失っていくのかを理解するための有用なテストベッドとして機能しうること、さらに、表、グラフ、フォーム、GUIのように、たとえ小さな視覚的詳細の欠落が重要になりうる課題を評価するためにも役立つことを期待しています。