DynHD: デノイジング・ダイナミクス偏差学習による拡散型大規模言語モデルの幻覚検出

要旨: 拡散型大規模言語モデル（D-LLMs）は、反復的な改良能力のため、自己回帰モデルに対する有望な代替として浮上しています。しかし、ハルシネーション（幻覚的出力）は依然として信頼性を妨げる重大な問題です。モデルの出力からハルシネーションの応答を検出するために、トークンレベルの不確実性（例：エントロピー）は、潜在的な事実誤りを示す有効な信号として広く用いられてきました。とはいえ、D-LLMs の固定長生成パラダイムは、トークンがハルシネーション検出に不均等に寄与することを意味しており、有意義な信号を提供するトークンはごく限られたサブセットに過ぎません。さらに、拡散過程全体を通じた不確実性の進展傾向も重要な信号を提供し、ハルシネーション検出のためにはそのデノイジングダイナミクスをモデリングする必要性を強調します。本論文では、空間的（トークン列）および時間的（デノイジングダイナミクス）の両方の視点から、これらのギャップを埋める DynHD を提案します。情報密度の不均衡に対処するため、非情報的なトークンをフィルタリングして意味的に有意義なトークンを強調し、ハルシネーションを示唆する信号を抽出するセマンティック対応の証拠構築モジュールを提案します。ハルシネーション検出のためのデノイジングダイナミクスをモデリングするには、不確実性エビデンスの期待される進化軌跡を学習する基準エビデンス生成器と、観測軌跡と基準軌跡の乖離を測定して予測を行う偏差ベースのハルシネーション検出器を導入します。広範な実験により、DynHD は最先端のベースラインを一貫して上回り、複数のベンチマークとバックボーンモデルにおいてより高い効率を達成することが示されています。