大規模ドキュメント集合をナビゲート：MuDABenchによるマルチドキュメント分析QA

要旨: 本論文では、大規模な半構造化ドキュメントコレクションに対する分析的質問応答の課題を導入する。私たちは、複数ドキュメントにまたがる分析的QAのためのベンチマークであるMuDABenchを提示する。ここでの問いは、定量的な分析を行うために、多数のドキュメントから情報を抽出し、統合することを要求する。既存の複数ドキュメントQAベンチマークが、典型的には、限られたクロスドキュメント推論によって情報を必要とするドキュメント数が少ないことに対して、MuDABenchは広範なドキュメント間の分析と集約を要求する。ドキュメントレベルのメタデータと注釈付きの金融データベースを活用する遠隔教師あり学習によって構築されたMuDABenchは、80,000ページ超および332件の分析的QAインスタンスから成る。さらに、最終回答の正確性を測定し、推論プロセスに対する補助的な診断シグナルとして中間ファクトのカバレッジを用いる評価プロトコルも提案する。実験の結果、すべてのドキュメントを平坦な検索プールとして扱う標準的なRAGシステムは性能が低いことが明らかになった。これらの制約に対処するために、計画、抽出、コード生成の各モジュールをオーケストレーションするマルチエージェントのワークフローを提案する。このアプローチはプロセス指標と成果指標の両方を大幅に改善する一方で、人間の専門家の性能と比べて依然として大きなギャップが残っている。我々の分析では、主なボトルネックとして2点を特定した。すなわち、単一ドキュメントにおける情報抽出の正確性の不足と、現行システムにおける十分なドメイン固有知識の欠如である。MuDABenchは https://github.com/Zhanli-Li/MuDABench で公開されている。