反事実を用いた幻覚抑制: LVLMの幻覚を抑制する拡散誘導摂動

本文: arXiv:2603.10470v1 アナウンス種別: 新規 要旨: 大規模視覚言語モデル（LVLM）はマルチモーダルタスクで高い性能を達成する一方で、視覚入力と乖離した幻覚を頻繁に生成します。この問題に対処するため、CIPHER（Counterfactual Image Perturbations for Hallucination Extraction and Removal）を導入します。訓練を必要としない手法で、軽量な特徴レベルの補正を通じて視覚起因の幻覚を抑制します。従来の主にテキスト起因の幻覚に焦点を当てた訓練不要手法とは異なり、CIPHERは視覚モダリティ由来の幻覚を明示的に対象とします。CIPHERは2つのフェーズで動作します。オフラインフェーズでは、OHC-25K（Object-Hallucinated Counterfactuals、25,000サンプル）を構築します。元の正解キャプションと意図的に矛盾する拡散編集済み画像からなる反事実データセットです。これらの編集画像を変更されていない正解キャプションとペアにし、LVLMを通して幻覚関連の表現を抽出します。これらの表現を、本物の（画像、キャプション）ペアから得られる表現と対比させると、視覚起因の幻覚を特徴づける低ランクの部分空間に跨る体系的で構造化されたシフトが明らかになります。推論フェーズでは、CIPHERはこの部分空間から中間の隠れ状態を逸らすように投影することで幻覚を抑制します。複数のベンチマークにわたる実験により、CIPHERは幻覚の発生率を有意に低減しつつタスク性能を維持しており、LVLMの忠実性を向上させる反事実視覚摂動の有効性を示しています。コードおよび追加資料は以下で入手可能です：https://hamidreza-dastmalchi.github.io/cipher-cvpr2026/。