引用の失敗：定義、分析、そして効率的な緩和

概要: LLMベースのRAGシステムによる引用は、応答の検証を簡素化するはずです。しかし、引用の失敗が起きる場合、この目標は損なわれます。そこでは、モデルが有益な応答を生成している一方で、証拠を完全に裏づけるための引用を生成できていません。先行研究とは対照的に、本研究では、応答自体に欠陥があり、完全な証拠を引用することが不可能である「応答の失敗」と引用の失敗を切り分けることを提案します。引用の失敗に対処するため、本研究は二段階のアプローチを採用します: (1) いつ引用の失敗が起きるのかを調べ、(2) それを効率的にどのように緩和できるかを検討します。ステップ1では、応答と証拠の関係が引用品質にどのように影響するかに着目することで、先行研究を拡張します。この関係を体系的に変化させて失敗モードの分析を可能にするベンチマークとして、CITECONTROLを導入します。実験の結果、失敗は関係の複雑性とともに増加することが示され、引用手法を組み合わせることで性能が向上し得ることが示唆されます。これがステップ2の動機となります。LLMの引用を効率的に改善するために、本研究では、生成ベース、注意（attention）ベース、および検索（retrieval）ベースの手法を統合する枠組みとしてCITENTIONを提案します。結果は、CITECONTROLにおいて、また転移設定において、大幅な引用の改善を示します。データとコードを公開します。