RAGのためのDPPのスケーリング：密度と多様性の融合

概要: 生成拡張（RAG: Retrieval-Augmented Generation）は、外部知識に基づいて生成を行うことで、大規模言語モデル（LLM）を強化し、事実に裏付けられたエビデンスや進化するコーパスに整合した関連性の高い応答を可能にします。標準的なRAGパイプラインでは、関連性ランキングによってコンテキストを構築し、ユーザークエリと各コーパスのチャンクの間でポイントワイズ（点ごとの）スコアリングを行います。しかし、この定式化は、取得された候補同士の相互作用を無視しているため、冗長なコンテキストが生じ、密度が薄まり、補完的なエビデンスが表出されません。私たちは、有効な検索（retrieval）は密度と多様性の両方を同時に最適化すべきだと主張します。つまり、情報として密である一方で、カバレッジとしては多様な、根拠となるエビデンスを保証することです。本研究では、RAGのための多様性を考慮した検索メカニズムであるScalDPPを提案します。これは、軽量なP-Adapterを通じて決定要素点過程（DPP: Determinantal Point Processes）を取り込み、チャンク間の依存関係を大規模にモデリングしつつ、補完的なコンテキストを選択できるようにするものです。さらに、DPPの幾何に基づいて、同じサイズの冗長な代替案よりも、真の補完的なエビデンス・チェーンが優勢になることを強制する、新しいセット単位の目的関数であるDiverse Margin Loss（DML）を開発します。実験結果は、ScalDPPの優位性を示し、私たちの中核となる主張を実際に裏付けています。