ハルシネーションを性能劣化なしで抑えるための大規模ビジョン・言語モデル手法

arXiv cs.CV / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

大規模ビジョン・言語モデル（LVLM）は強力な生成能力を持つ一方で、出力の信頼性を損なうハルシネーション（虚偽生成）を頻繁に起こします。
ハルシネーションのない注釈データでの微調整は最も直接的ですが計算コストが高く、そこで表現ベースの手法が提案されています。
しかし従来の表現ベース手法は、ハルシネーション成分の抽出が不完全だったり、更新が非選択的だったりするため、一般的な生成能力が低下することがあると実験で示されています。
これを踏まえ、本論文はMPDという二段階フレームワークを提案し、（1）意味に基づいてハルシネーション成分を分解して抽出し、（2）ハルシネーションに関連するパラメータのみを選択的に解釈可能に更新することで、性能劣化なしにハルシネーションを抑えます。

Abstract

大規模視覚言語モデル（LVLM）は強力な生成能力を示しますが、出力の信頼性を損なう幻覚（ハルシネーション）を頻繁に生成します。幻覚のない注釈データに対する微調整は最も直接的な解決策ですが、その高い計算コストが、最近の表現ベースの手法を後押ししています。これらの手法は、隠れた表現内に含まれる幻覚成分を緩和することに焦点を当てています。効率的である一方で、これらの手法が幻覚成分の抽出が不完全であり、非選択的なパラメータ更新が行われるため、一般的な生成能力が低下することを、実験的に観察します。これらの制約に対処するために、本研究では、性能低下なしで幻覚を緩和するための二段階フレームワークであるMPDを提案します。具体的には、当社のMPDは次の2つの重要な要素に依拠しています：（1）意味に応じた成分の分離により純粋な幻覚成分を抽出すること、そして（2）解釈可能なパラメータ更新により幻覚に最も関連するパラメータのみを選択的に修正することです。大規模な実験の結果、MPDは最先端の性能を達成し、幻覚を23.4 %削減しつつ、LLaVA-BenchおよびMMEで評価した汎用的な生成能力の97.4 %を維持することが示されており、追加の計算コストはありません。