文脈整合性の強化：ウォーターマークに着想を得たデコーディングで忠実な生成を改善

要旨: 大規模言語モデル（LLM）は、入力コンテキストで与えられた情報に矛盾したり、それを見落としたりする内容を生成しがちであり、この現象は忠実性ハルシネーション（faithfulness hallucination）として知られています。本論文では、そのようなハルシネーションを、ソースにより裏付けられたトークンの生成確率を高めることで低減する軽量かつ汎用的なデコーディング時フレームワークである Context-Fidelity Boosting（CFB）を提案します。ウォーターマーキング手法に由来するロジット・シェーピングの考え方に動機づけられ、CFBは、トークンが入力コンテキストからどの程度支持されているかに基づいて、トークン単位の加法的なログit調整を適用します。具体的には、3つのブースティング戦略を開発します。すなわち、静的ブースティングは、ソースにより支持されるトークンに固定のバイアスを適用するものです。文脈対応ブースティングは、コンテキストあり／なしの次トークン分布間のダイバージェンスに応じて、このバイアスをスケールします。そしてトークン対応ブースティングは、ソース位置アテンションとソースに限定した意味的類似性から推定される局所的な関連度に従って、適応的バイアスをさらに再分配します。CFBは再学習やアーキテクチャ変更を必要としないため、幅広いLLMに対応可能です。複数のオープンソースLLMにまたがる要約および質問応答タスクでの実験により、CFBは、生成オーバーヘッドが最小限であるにもかかわらず、忠実性の指標を一貫して改善することが示されます。実装は完全にオープンソースです。