Faithfulness Serum：注意誘導によるLLM意思決定のテキスト説明における「忠実性ギャップ」の緩和

要旨: 大規模言語モデル（LLM）は強力な性能を達成し、NLPを一変させてきましたが、その説明可能性の欠如によりブラックボックスとして扱われ続けており、透明性と信頼性を必要とする領域での利用が制限されています。この問題に対処する有望な方向性は、事後的なテキストベースの説明であり、自然言語によってモデルの判断を説明することを目指します。先行研究では、主観的に忠実であるように見える説得力のある合理化（レゾネーション）の生成に焦点が当てられてきましたが、それらの説明が認識論的に忠実であるか、すなわちモデルが実際に意思決定のために用いた内部の根拠を反映しているかどうかは、依然として不明です。本論文では、まず反実仮想（カウンターファクト）によってLLMが生成した説明の認識論的忠実性を評価し、それらがしばしば非忠実であることを示します。次に、忠実な帰属（アトリビューション）手法によって抽出されたトークンレベルのヒートマップに基づき、注意（アテンション）レベルの介入によって説明生成を導くことで、忠実性を高める学習不要（トレーニングフリー）の手法を提案します。この手法は、複数のモデル、ベンチマーク、プロンプトにわたって認識論的忠実性を大幅に改善します。