生物医学RAGにおける検索戦略のベンチマーク：統制的な実証研究

Abstract

生成拡張（RAG）は、大規模言語モデル（LLM）の出力を外部知識によって根拠づけるための、確立された有力な手法です。しかし、生物医学のような高リスクな領域で、どの検索戦略が最も効果的かという問いには、十分に統制された、しかも複数の指標での体系的な検証が、相応の形では行われていません。本論文では、生物医学の質問応答RAGパイプラインにおいて、5つの検索戦略――Dense Vector Search（密ベクトル探索）、Hybrid BM25 + Dense retrieval（ハイブリッドBM25＋密探索）、Cross-Encoder Reranking（クロスエンコーダ再ランキング）、Multi-Query Expansion（複数クエリ拡張）、Maximal Marginal Relevance（MMR）――を体系的に実証的に比較します。すべての戦略は、固定の生成モデル（GPT-4o-mini）、共通のベクトルストア（ChromaDB）、そしてOpenAIのtext-embedding-3-small埋め込みを共有しており、観測された差異が検索にのみ起因することを保証します。評価は、前処理済みのBioASQベンチマークのサブセット（rag-mini-bioasq）から抽出した250の質問―回答ペアに対して、DeepEvalの4つの指標――contextual precision（文脈上の適合率）、contextual recall（文脈上の再現率）、faithfulness（忠実性）、answer relevancy（回答の関連性）――を用いて行い、各指標は95%信頼区間付きで報告します。下限として、無文脈アブレーションも含めています。Cross-Encoder Rerankingは最良の複合スコア（0.827）と最高のcontextual precision（0.852）を達成し、クエリと文書の相互作用が測定可能な検索上の改善につながることを裏づけます。Multi-Query Expansionは再現率志向の設計であるにもかかわらず、最も弱いcontextual precision（0.671）を示し、単純なクエリ多様化が検索ノイズを持ち込むことを示唆します。MMRは多様性のためにanswer relevancyを犠牲にします。一方、Denseベースライン（複合スコア0.822）は、最上位戦略から0.005ポイント以内の差にとどまります。すべてのRAG条件は、answer relevancyにおいて無文脈アブレーション（0.287）に対して劇的に優れており（0.658-0.701）、検索の実用的価値を確認します。完全なパイプライン、ハイパーパラメータ、評価コードは公開されています。