検索の改善はより良い回答を保証しない：AIポリシーQAにおけるRAGの研究

Abstract

生成拡張（RAG）システムは、複雑な政策文書を分析するためにますます活用されている一方で、専門家による利用に十分な信頼性を達成することは、密度の高い法的言語と、進化し重なり合う規制の枠組みが特徴となる領域では依然として困難です。本研究では、AIガバナンスと政策分析へのRAGの適用を、AI Governance and Regulatory Archive（AGORA）コーパスを用いて検討します。AGORAコーパスは、厳選された947件のAI政策文書のコレクションです。私たちのシステムは、コントラスティブ学習で微調整したColBERTベースのリトリーバと、Direct Preference Optimization（DPO）を用いて人間の嗜好に整合するジェネレータを組み合わせています。政策領域に適応するために、合成クエリを構築し、対（ペア）ごとの嗜好を収集します。検索品質、回答の関連性、忠実性（faithfulness）を評価する実験を通じて、領域固有の微調整は検索指標を改善するものの、エンドツーエンドの質問応答性能を一貫して改善しないことがわかりました。場合によっては、より強力な検索が、関連文書がコーパスに存在しないときに、直感に反してより自信に満ちた幻覚（hallucinations）につながることもあります。これらの結果は、政策に焦点を当てたRAGシステムを構築する人々にとっての重要な懸念を浮き彫りにしています。個々のコンポーネントの改善は、必ずしもより信頼できる回答につながるとは限りません。私たちの発見は、動的な規制コーパス上で根拠に基づく質問応答システムを設計するための実践的な示唆を提供します。