目に見える以上のもの：セマンティック・アンカリングによる視覚言語モデルの記号論的ギャップの測定

要旨: 　視覚言語モデル（VLMs）はフォトリアルな生成に優れている一方で、名詞複合の慣用的解釈のような抽象的意味を表現することはしばしば困難です。視覚的忠実度の高さが、視覚的抽象化のもとで慣用的な合成性（compositionality）を妨げるのかどうかを検討するために、私たちはDIVAを導入します。DIVAは制御されたベンチマークであり、高忠実度の視覚的ディテールを、図式的なイコノグラフィック性（iconicity）に置き換えます。具体的には、文字通りの読みと慣用的な読みそれぞれについて、意味に基づいてアンカーされた（sense-anchored）視覚化を対として生成することで、この現象を調べます。さらに、リテラル（文字通り）とイディオマティック（慣用的）の視覚的グラウンディングの間の乖離を定量化する、アーキテクチャに依存しない指標であるSemantic Alignment Gap（\Delta）を提案します。加えて、文字通りの選好に関する「方向」と「強さ」を別々に測定するための、方向付き符号付きバイアスb(t)も導入します。最近の8つのVLMを評価したところ、一貫した「Literal Superiority Bias（文字通り優位バイアス）」が明らかになりました。モデルのスケールだけでは文字通りの選好は解消されず、視覚的忠実度を高めるほど象徴的アラインメントは弱くなることが示され、超リアルな画像による認知的干渉が示唆されます。これらの結果は、合成的な理解を改善するには、視覚入力のイコノグラフィックな抽象化と、意図した意味に基づく解釈・生成のアンカーリングが必要であることを示しています。