高類似コーパス向けの冗長性対応型リトリーバル評価フレームワーク RARE

抽象: 既存のQAベンチマークは通常、重複が最小限で明確に区別された文書を前提としています。しかし、現実の検索拡張生成（RAG）システムは、金融レポート、法律の条文、特許などのコーパスで動作し、その情報は非常に冗長であり、文書間の類似性は強いものとなっています。この不一致は評価の妥当性を損ないます。評価では文書間の冗長性が考慮されないため、検索（リトリーバ）が十分な根拠を提供する文書を取得できても、不当に低く見積もられてしまうのです。一方で、標準ベンチマークでうまく機能する検索器は、強く類似し冗長な文書を含む実世界のコーパスではしばしばうまく一般化できません。私たちはRARE（Redundancy-Aware Retrieval Evaluation：冗長性を考慮した検索評価）を提案します。これは、(i) 文書を原子的な事実へ分解して正確に冗長性を追跡できるようにし、(ii) CRRFによってLLMベースのデータ生成を強化することで、現実的なベンチマークを構築するための枠組みです。RAGベンチマークのデータは通常、複数の品質基準を必要としますが、LLMはしばしば些細で自明な出力を生成します。CRRFは基準を個別にスコアリングし、順位によって意思決定を融合することで、生成データの信頼性を高めます。RAREをFinance、Legal、Patentのコーパスに適用し、RedQAを導入します。そこでは強力な検索器のベースラインが、4-hop General-Wikiでの66.4%のPerfRecall@10から、4-hop深さでの5.0〜27.9%のPerfRecall@10へと低下します。これは、現在のベンチマークでは捉えられていない頑健性のギャップを明らかにします。RAREにより、実運用の条件を忠実に反映するドメイン固有のRAG評価を実践者が構築できるようになります。