CHOP：複数ドキュメント向けのRAGにおけるチャンクごとの文脈保持フレームワーク

要旨: 取得拡張生成（RAG）システムは、ベクトルデータベース内に類似した文書が共存すると取得精度を失い、その結果、不必要な情報、幻覚（ハルシネーション）、そして事実誤りが生じます。この問題を軽減するために、本研究ではCHOPという枠組みを提案します。CHOPは、Large Language Models（LLM）を用いてチャンクの関連性を反復的に評価し、さらに、それらが特定のトピックやクエリタイプに関連しているかを判断することで、文書を段階的に再構築します。CHOPは2つの重要なコンポーネントを統合します。CNM-Extractorは、カテゴリ、主要名詞、モデル名を捉えるコンパクトなチャンクごとの署名を生成し、Continuity Decision Moduleは、連続するチャンクが同一の文書フローに属するかどうかを判断することで、文脈上の一貫性を保持します。各チャンクの先頭に、文脈に応じたメタデータを付与することで、CHOPは類似文書間の意味的競合を低減し、リトリーバの識別性を高めます。ベンチマークデータセットでの実験により、CHOPは取得の混乱を緩和し、高品質なナレッジベースを構築するためのスケーラブルな手法を提供できることが示されました。Top-1 Hit Rateは90.77%で、ランキング品質指標でも顕著な改善が得られています。