Faithfulness-QA：文脈忠実なRAGモデルの学習のための反事実的エンティティ置換データセット

要旨: Retrieval-Augmented Generation（RAG）モデルは、検索された文脈ではなく、パラメトリックメモリに基づく回答を生成してしまうことがしばしばあり、検索拡張の中核となる約束を損なっています。この不忠実さ（unfaithfulness）を解決するための根本的な障害は、モデルに対して内的知識よりも文脈を優先することを明示的に要求する訓練データが欠けている点です。本研究では、反事実的なエンティティ置換（counterfactual entity substitution）によって構築された大規模データセット「Faithfulness-QA」を導入します。Faithfulness-QAは99,094サンプルから成り、2つの既存の抽出的QAベンチマーク――SQuAD と TriviaQA――を出発点として構築されます。各文脈ごとに、答えを含む固有名詞エンティティを自動的に特定し、厳選された 76,953 エンティティのバンクから型整合的な代替エンティティに置換します。これにより、文脈とパラメトリックメモリとの間で制御された知識の衝突（knowledge conflicts）を作り出します。厳密な品質フィルタリングにより、ランダムに抽出した200サンプルの監査に対する4つの自動チェックで100%の合格率を保証します。データセット全体、構築パイプライン、さらに8つの固有名詞カテゴリをカバーする型付きエンティティバンクを公開します。Faithfulness-QAは、注意ベースの忠実性（faithfulness）目的のための訓練リソースとして設計されていると同時に、RAGシステムにおける文脈への根拠付け（context-grounding）行動を測定するための評価ベンチマークとしても機能します。データとコードは https://github.com/qzhangFDU/faithfulness-qa-dataset で利用可能です。