VCE：視覚コントラスト編集によるLVLMのゼロコスト幻覚抑制手法

要旨: 大規模視覚言語モデル（LVLM）はしばしばオブジェクト・ハルシネーション（OH）に悩まされます。これは、入力画像内に実際には存在しない物体を含む記述を生成してしまう現象です。この現象は、医療画像処理や自律運転のような現実世界のアプリケーションでは特に問題であり、正確性が極めて重要です。近年の研究では、幻覚の問題は言語事前知識に由来する可能性があることが示唆されています。すなわち、事前学習中に学習されたバイアスが、統計的な共起に基づいてLVLMが単語を生成する原因となっているということです。この問題を軽減するために、我々はVisual Contrastive Editing（VCE）を提案します。これは、コントラストのある視覚的摂動に対するモデルの応答を分析することで、幻覚傾向を特定し抑制する新しいポストホック手法です。特異値分解（SVD）を用いて、モデルの活性化パターンを分解し、幻覚のサブスペースを切り出したうえで、影響を減衰させるための狙いを定めたパラメータ編集を適用します。微調整やラベル付きデータを必要とする既存のアプローチとは異なり、VCEはラベル不要の介入として動作するため、リソースが制約された環境での展開においても、拡張性と実用性の両方を備えています。実験結果は、VCEが複数のベンチマークにおいて物体の幻覚を効果的に低減しつつ、モデルの元来の計算効率を維持することを示しています。