MDKeyChunker：ローリングキーとキーに基づく再構成による高精度RAGのための単一コールLLMによるエンリッチメント

要旨: RAGパイプラインは通常、固定サイズのチャンク分割に依存しますが、これは文書構造を無視し、意味的な単位を境界をまたいで分断し、メタデータ抽出のためにチャンクごとに複数回のLLM呼び出しを必要とします。私たちは、Markdown文書向けの3段階パイプラインであるMDKeyChunkerを提案します。これにより、(1) 見出し、コードブロック、テーブル、リストを原子的な単位として扱い、構造を考慮したチャンク分割を行い、(2) 各チャンクを1回のLLM呼び出しで、タイトル、要約、キーワード、型付きエンティティ、仮想的な質問、そしてセマンティックキーを抽出して充実させつつ、文書レベルの文脈を維持するためにローリングキー辞書を伝播し、(3) セマンティックキーが同じものをビンパッキングによってマージし、検索のために関連コンテンツを同じ場所に配置します。単一呼び出し設計により、7つのメタデータフィールドを1回のLLM呼び出しで抽出できるため、フィールドごとに別々の抽出を行う追加のパスは不要になります。ローリングキーの伝播は、手調整のスコアリングをLLMネイティブのセマンティックマッチングに置き換えます。18文書のMarkdownコーパスに対して30のクエリで行った実証評価では、Config D（構造チャンク上でのBM25）がRecall@5=1.000およびMRR=0.911を達成し、一方でパイプライン全体に対する密な検索（Config C）ではRecall@5=0.867となりました。MDKeyChunkerはPythonで実装されており、依存関係は4つで、OpenAI互換の任意のエンドポイントをサポートします。