摂動によるデコーディング：動的なテキスト摂動でMLLMの幻覚を軽減する

要旨: マルチモーダル大規模言語モデルは、推論時の幻覚（インファレンス・ハルシネーション）にしばしば悩まされます。これは、言語の事前知識（プライア）が視覚的な証拠を支配してしまうことが一因の一つです。既存の学習不要（トレーニングフリー）による対策手法は、いずれも視覚表現を擾乱して自然な画像分布から逸脱するか、モデルが本来備えている生成的な流暢さ（fluency）を損なうような、侵入的な操作を強いるかのどちらかです。そこで本研究では、マルチモーダル幻覚はデコーディング段階において、テキスト表現に対する視覚的な基盤付け（visual grounding）の過敏性として現れる、という新しい観点を提案します。この洞察に基づき、訓練なしで事前知識に起因する幻覚を抑える枠組みである Decoding by Perturbation（DeP）を提案します。DePは、潜在的な言語事前知識を引き出すために、多段階のテキスト擾乱を適用する動的プローブを用います。さらに注意（attention）の分散を活用して、安定した証拠領域を強化し、特徴空間における疑わしいノイズを抑制します。加えて、ログイットの統計を用いて解釈可能な事前知識のドリフト方向（prior drift direction）を構築し、テキストの共起による確率バイアスに対抗します。大規模な実験の結果、DePは幻覚を効果的に低減し、複数のベンチマークにおいてより優れた性能を達成することが確認されました。