ハイブリッド文書ルーティングによる金融RAGでの堅牢性—精度トレードオフの解決

要旨: 金融文書の質問応答のためのRetrieval-Augmented Generation（RAG）システムは、典型的にチャンク（断片）ベースのパラダイムに従います。すなわち、文書は断片に分割され、ベクトル空間に埋め込まれ、類似度検索によって取得されます。一般的な設定では有効ですが、このアプローチは、規制当局への提出書類のような構造的に均質なコーパスにおいて、文書をまたいだチャンクの取り違えという問題に悩まされます。LLMの構造化出力を用いてクエリを文書全体にルーティングするSemantic File Routing（SFR）は、壊滅的な失敗を減らしますが、特定チャンク取得の精度を犠牲にします。本研究では、FinDERベンチマーク（5つのグループに対して1,500クエリ）における制御された評価を通じて、この頑健性と精度のトレードオフを明らかにします。SFRは、平均スコア（6.45対6.02）と失敗数の少なさ（10.3%対22.5%）の両面で優れている一方、チャンクベース取得（CBR）は、完全正解の割合が高く（13.8%対8.5%）、それを示します。このトレードオフを解決するために、Hybrid Document-Routed Retrieval（HDRR）を提案します。これは2段階のアーキテクチャで、まずSFRを文書フィルタとして用い、その後に、特定された文書（複数可）に限定して、チャンクベース取得を行います。HDRRは、文書をまたいだ取り違えをなくしつつ、特定チャンクの精度を維持します。実験結果は、HDRRがあらゆる評価指標において最良の性能を達成することを示します。平均スコア7.54（CBR比で25.2%高く、SFR比で16.9%高い）、失敗率6.4%のみ、正確性（correctness）67.7%（CBRに対して+18.7ポイント）、完全正解率20.1%（CBRに対して+6.3ポイント、SFRに対して+11.6ポイント）です。HDRRは、5つすべての実験グループにおいて、同時に最も低い失敗率と最も高い精度を達成することで、このトレードオフを解決します。