壊れたRAGパイプラインを診断するCLI（フィードバック募集）

皆さん、こんにちは、

ここ数か月、さまざまなRAGの設定（LangChain、LlamaIndex、カスタムパイプラインなど）を構築・テストしてきましたが、同じ苛立つ問題に何度も直面していました。

RAGシステムが悪い答えを出し始めると、すぐにLLMのせいだと誰もが非難します。

しかし、実際の問題はほとんどの場合、パイプラインのどこかにあります。

次のようなことです：

• ドキュメントは正しくチャンク化されていない • 埋め込みは検索モデルと一致していない • あなたが思っているときに検索が実際には行われていない • コンテキスト窓がオーバーフローしている • ベクトル検索の設定が誤っている • プロンプトインジェクションのリスク 

このようなことを何度もデバッグした後、コードベースを分析してRAGパイプラインの構造的問題を検出しようとする小さなCLIツールを作るようになりました。

アイデアは基本的には:

「RAGアーキテクチャの ESLint のようなもの。」

ツールはコードベースを解析し、ルールエンジンを実行し、潜在的な問題を報告します。

私が下した重要な設計上の選択肢の一つ:

分析自体は決定論的です。AIは平易な言葉で所見を説明するためだけに使用されます。

そのため、CIでの実行が可能で再現性のある結果を生み出します。

まだ初期段階ですが、気になる点があります：

実際のプロジェクトで最も頻繁に見られるRAGの問題は何ですか？

また、変わったパイプラインで壊してみたい人がいれば、それは実際に非常に役立つでしょう。

リポジトリ:

https://github.com/NeuroForgeLabs/rag-doctor

RAGシステムを構築している人からのフィードバックをぜひお願いします。