効率的でコスト効率の高い検索拡張生成（RAG）システムのためのWeb Retrieval-Aware Chunking（W-RAC）

要旨: 生成拡張（Retrieval-Augmented Generation; RAG）システムは、検索品質、レイテンシ、運用コストのバランスを取るために、効果的な文書チャンク化戦略に強く依存している。固定サイズ、ルールベース、あるいは完全にエージェント的なチャンク化といった従来のアプローチは、多くの場合、高いトークン消費、冗長なテキスト生成、限定的なスケーラビリティ、そして特に大規模なウェブコンテンツの取り込みにおける低いデバッグ容易性といった問題を抱える。本論文では、ウェブベースの文書を対象として特別に設計された、新しいコスト効率の高いチャンク化フレームワークである Web Retrieval-Aware Chunking（W-RAC）を提案する。W-RAC は、テキスト抽出を意味的なチャンク計画から切り離し、解析されたウェブコンテンツを、構造化され、IDでアドレス可能なユニットとして表現する。そして、テキスト生成ではなく、検索を意識したグルーピングの意思決定にのみ、大規模言語モデル（LLM）を活用する。これによりトークン使用量が大幅に削減され、幻覚（ハルシネーション）のリスクが解消され、システムの可観測性が向上する。さらに、実験的分析とアーキテクチャの比較により、W-RAC が従来のチャンク化アプローチと同等、またはそれ以上の検索性能を達成しつつ、チャンク化に関連する LLM コストを 1 桁（オーダー）低減することを示す。