Legal-DC: 法的文書に対する Retrieval-Augmented Generation（RAG）のベンチマーク

要旨: Retrieval-Augmented Generation（RAG）は法的文書の照会に有望な技術として浮上しています。しかし中国語の法的シナリオへの適用には2つの重要な制約があります。既存のベンチマークにはリトリーバーとジェネレーターの共同評価を専門的にサポートする機能が欠けており、主流のRAGシステムは法的条項の構造化された性質を適切に取り入れることが難しいという点です。これらのギャップを埋めるべく、本研究は2つの中核的貢献を推進します。第一に、Legal-DCベンチマークデータセットを構築しました。480の法的文書（市場規制や契約管理などを含む）と、条項レベルの参照が注釈された2,475の精緻化されたQ&Aペアから成り、中国語の法的RAGにおける専門的評価資源のギャップを埋めます。第二に、LegRAGフレームワークを提案します。条項境界のセグメンテーションを含む法的適応型インデックス作成と、条項の完全性を保証しつつ回答の正確性を高める二重経路の自己反省機構を統合します。第三に、法的検索シナリオの高信頼性要件を満たす大規模言語モデル用の自動評価手法を導入します。LegRAGは、主要評価指標において既存の最先端手法を1.3%〜5.6%上回ります。本研究は、中国語法的RAGシステムの開発を進めるための特化型ベンチマーク、実践的フレームワーク、および実証的洞察を提供します。コードとデータは https://github.com/legal-dc/Legal-DC に公開されています。