Attentionマップを用いた推論時におけるSpeech LLMの幻覚（ハルシネーション）検出

arXiv cs.CL / 2026/4/22

📰 ニュースModels & Research

共有:

要点

本論文は、ゴールド標準の出力を用意するコストが高い／現実的でない問題を回避し、音声入力に合わせた注意（アテンション）由来の指標を使ってSpeech LLMの幻覚を推論時に検出する手法を提案しています。
AUDIORATIO、AUDIOCONSISTENCY、AUDIOENTROPY、TEXTENTROPYの4つのアテンションベース特徴量を導入し、それらからなる学習済みの軽量ロジスティック回帰分類器で、効率的に幻覚らしさを判定します。
Qwen-2-AudioとVoxtral-3Bを用いたASRおよび音声からテキストへの翻訳タスクの実験では、提案手法がin-domainデータにおいて、不確実性ベースや従来のアテンションベースのベースラインを上回り、最大で+0.23 PR-AUCの改善を示しています。
out-of-domainのASR設定でも一般化し、全ヘッドではなく約100の注意ヘッドでも強い性能が得られることが示され、条件によって一般化が改善します。
有効性はモデルやタスクに依存し、分類器にはタスク固有の学習が必要ですが、注意パターンがSpeech LLMの幻覚検出に有用なシグナルになり得ることを示しています。