まばたきするな：マルチモーダル推論におけるエビデンスの崩壊の証拠

Abstract

推論VLMは、考えるにつれて視覚的な基盤（grounding）を徐々に失いながらも、より正確になっていくことがあります。これにより、低エントロピーの予測が確信を持っているにもかかわらず基盤が欠けている、タスク条件付きの危険地帯が生まれます。この失敗モードは、テキストのみの監視では検出できません。MathVista、HallusionBench、MMMU_Proの3つの推論VLMを評価したところ、広く見られる「エビデンス崩壊（evidence-collapse）」現象を見出しました。すなわち、注釈付きのエビデンス領域への注意が大幅に低下し、推論が進むにつれて証拠（エビデンス）の質量の半分以上を失うことがしばしばあります。完全応答エントロピーは、データセット間の転移（cross-dataset transfer）において最も信頼できるテキストのみの不確実性指標ですが、視覚特徴を単一のグローバルな線形ルールで追加すると、脆く、しばしば転移性能を低下させます。エントロピーと視覚の相互作用モデルにより、タスク条件付きの制御領域が明らかになります。すなわち、低エントロピーで視覚的に関与していない予測は、持続的な視覚参照タスクでは危険ですが、象徴（シンボリック）タスクでは良性です。この構造を用いることで、90%のカバレッジにおいて、ターゲット化された視覚の拒否（veto）により選択的リスクを最大1.9パーセントポイント低減しつつ、関与の解放が期待される場面での劣化を回避できます。これらの結果は、分布シフト下で安全に運用するための、タスク認識型マルチモーダル監視を支持します。