1つのトークン、2つの運命：視覚トークン操作によるMLLMの幻覚に対抗する統合フレームワーク

要旨: 現在のトレーニング不要の手法は、MLLMの幻覚に対処するために、視覚信号を強化する戦略とテキストの慣性を抑制する戦略を別々に用います。しかし、これらの別々の手法は重要なトレードオフのため不十分です。視覚を単に強化するだけでは強力な言語先行に対抗できず、言語を抑制すると画像に関係のないノイズが追加されることがあります。さらに、それらの素朴な組み合わせは効果的でないことも分かり、統一フレームワークが必要です。我々はこのようなフレームワークを、コア資産である視覚トークンに焦点を当てることによって提案します。我々の設計は2つの重要な洞察を活用します：(1) 拡張された画像は補完的な視覚意味を提供する、(2) 視覚トークンを削除する（情報ギャップ）は、画像を歪ませる（モダリティギャップ）よりも幻覚傾向をより正確に分離します。これらに基づき、フレームワークは潜在表現の上で2つの異なるやり方で視覚トークンを使用します。Synergistic Visual Calibration (SVC) モジュールは拡張されたトークンを取り入れて視覚表現を強化します。一方、Causal Representation Calibration (CRC) モジュールは剪定されたトークンを用いて潜在空間のネガティブサンプルを作成し、内部モデルのバイアスを修正します。2つの役割を調和させることで、フレームワークは視覚と言語のバランスを効果的に回復し、物体幻覚を大幅に減少させ、LLaVA-1.5 の複数のベンチマークにおける POPE の精度を平均約2ポイント絶対値改善し、推論レイテンシのオーバーヘッドはわずか 1.06 倍に留まります。