RAGはなぜ精度が出ないのか？4手法を実務データで比較し最適構成を決めた

はじめに 規約文書に対するQAシステムを開発している中で、最初に実装した「コサイン類似度でtop-k件取ってきてLLMに渡す」構成では精度が出ませんでした。条番号を指定した質問で見当違いのチャンクが返ってきたり、複数セクションにまたがる質問にまるで対応できなかったりします。 「RAGの精度が悪い」と一言で言っても、原因が検索にあるのか生成にあるのか、手法を変えれば改善するのかがわかりません。そこで本記事では、Vanilla RAGから始めて段階的に手法を変え、それぞれ評価・考察・採否判定を行い、最終的に最適な構成を決める、というアプローチを取りました。 比較したのは以下の4手法です。...