検索拡張生成の出力を事実検証するための信頼性（Faithfulness）を考慮した不確実性定量

要旨: 取得（retrieval）によって強化された大規模言語モデル（LLM）は、Retrieval-Augmented Generation（RAG）として知られる手法であり、オープンドメインの質問応答において強力な性能を達成してきました。 しかし、RAGは幻覚（hallucination）に対して依然として脆弱です。モデル内部の知識および取得された文脈の不正確さに起因して、事実に反する出力が生じうるためです。幻覚を抑制する既存のアプローチでは、しばしば、事実性（factuality）と、取得した証拠に対する忠実性（faithfulness）を混同しています。その結果、取得によって明示的に裏付けられていない場合に限らず、事実として正しい記述でも、取得によって明確に支持されていないという理由だけで誤って幻覚としてラベル付けされてしまいます。本論文では、RAG出力における幻覚検出の新しい手法であるFRANQを提案します。FRANQは、文が取得された文脈に忠実であるかどうかを条件として、事実性を推定するために、異なる不確実性定量化（Uncertainty Quantification: UQ）の手法を適用します。FRANQと競合するUQ手法を評価するために、事実性と忠実性の両方について注釈を付けた、新しい長文形式の質問応答データセットを構築します。これは、自動ラベリングと、困難なケースに対する手動による検証を組み合わせたものです。複数のデータセット、タスク、およびLLMにわたる大規模な実験の結果、FRANQは既存のアプローチと比較して、RAGによって生成された応答における事実誤りの検出をより正確に達成することが示されました。