チャンクのフィルタリングによるリトリーバル拡張生成（RAG）の冗長性削減

arXiv cs.CL / 2026/4/28

📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

通常のRAG（リトリーバル拡張生成）のチャンク分割では冗長なチャンクが多く生成され、保存コストの増加や検索（リトリーブ）の遅延につながりがちです。
本研究では、意味ベース、トピックベース、固有名詞（named-entity）ベースなどの軽量なチャンクフィルタリング手法により、検索品質を維持しつつインデックス化するコーパスを縮小することを検討します。
複数のコーパスで実験を行い、精度・再現率・交差（intersection）/統合（union）を用いたIoU（intersection-over-union）のトークンベース評価で検索性能を測定します。
結果として、固有名詞ベースのフィルタリングはベースラインに近い検索品質を保ちながら、ベクトルインデックスのサイズを約25%〜36%削減できることが示されます。
これにより、チャンク分割が生み出す冗長性は効果的に抑えられ、RAGパイプラインのリトリーブ（検索）部分の効率が向上する可能性が示唆されます。

Abstract

標準的なRetrieval-Augmented Generation（RAG）のチャンキング手法は、過剰な冗長性を生み出しがちであり、その結果としてストレージコストが増大し、検索（レトリーバル）も遅くなります。本研究では、意味ベース、トピックベース、固有名詞（named entity）ベースの手法などのチャンクフィルタリング戦略を調査し、検索品質を維持しながら、インデックス化されたコーパスを縮小することを目指します。複数のコーパス上で実験を行います。検索性能は、適合率・再現率・intersection-over-union（IoU）指標に基づくトークンベースの枠組みを用いて評価します。結果は、固有名詞ベースのフィルタリングにより、ベースラインに近い高い検索品質を維持しつつ、ベクトルインデックスのサイズを約25%から36%まで削減できることを示しています。これらの知見は、チャンキング過程で導入される冗長性を、軽量なフィルタリングによって効果的に減らせることを示唆しており、RAGパイプラインにおける検索志向のコンポーネントの効率を改善します。