HTDC: 大規模視覚言語モデルにおける幻覚を抑制するための、ためらいに基づく差分キャリブレーション

Abstract

大規模視覚言語モデル（LVLMs）は強力なマルチモーダル性能を達成する一方で、不安定な視覚的グラウンディングと、言語の事前知識への過度な依存によって引き起こされるハルシネーションにまだ悩まされています。既存の学習不要のデコーディング手法では、通常、各デコードステップごとにキャリブレーションを適用するため、不要な計算が生じるだけでなく、予測の安定性を損なう可能性もあります。本研究では、中間層におけるトークン嗜好の揺らぎとして現れる、グラウンディング不安定性の単純な指標である層ごとの躊躇（hesitation）を特定することでこの問題に取り組みます。この観察に基づき、標準的なフルブランチ推論を保持し、躊躇しやすいステップでのみキャリブレーションを作動させる学習不要のデコーディング枠組みである Hesitation-Triggered Differential Calibration（HTDC）を提案します。作動時、HTDCは、視覚的ヌル化プローブと意味的ヌル化プローブという2つの軽量プローブを用いてフルブランチと対比し、安定しているステップへの不要な介入を避けながら、ハルシネーションを起こしやすい候補を抑制します。代表的なハルシネーション評価ベンチマークでの実験では、HTDCが一貫してハルシネーションを低減しつつ、強いタスク精度を維持することが示され、有効性と計算オーバーヘッドの間に好ましいトレードオフを実現します。