曖昧さから精度へ：コアファレンス解決がリトリーバル拡張生成（RAG）システムに与える変革的効果

Abstract

生成拡張（Retrieval-Augmented Generation; RAG）は、自然言語処理（NLP）において重要な枠組みとして注目されており、大規模言語モデル（LLM）に外部文書の検索を統合することで事実整合性を向上させ、幻覚を抑制します。しかし、RAGの有効性は、検索された文書における指示対象の同一性（コアファレンス）の複雑さによってしばしば妨げられ、その結果、生じる曖昧さがインコンテキスト学習を阻害します。本研究では、RAGベースのシステムにおいて、エンティティのコアファレンスが文書検索と生成性能の両方にどのように影響するのかを、検索の関連性、文脈理解、そして全体的な応答品質に焦点を当てて体系的に検証します。本研究では、コアファレンス解消が検索の有効性を高め、質問応答（QA）の性能を改善することを示します。検索タスクにおける異なるプーリング戦略の比較分析により、コアファレンス解消適用後、平均プーリングが文脈を捉える能力において優れていることがわかります。QAタスクでは、より小規模なモデルほど曖昧性解消の恩恵をより大きく受けることを見出します。これは、おそらくそれらが参照の曖昧さを扱うための固有の能力が限定的であるためです。これらの知見に基づき、本研究はRAGにおけるコアファレンスの複雑さがもたらす課題をより深く理解し、知識集約型AIアプリケーションにおける検索と生成の改善に向けた指針を提供することを目的とします。