LLMSearchIndex：RAG向けに2億件超のWebページを索引化するオープンソースのローカルWeb検索ライブラリ

ローカルLLM/RAGシステムに対するWeb検索オプションには、かなり不満がありました。ほとんどの構成は、Braveのような有料APIに依存しているか、SearXNGのようなメタ検索スクレイパーに頼っています。

そこで、私はLLMSearchIndex- インターネット規模の検索を完全にローカルで行うためのPythonライブラリを作りました。FineWeb + WikipediaのほとんどのWebページを含む、独自に学習された高圧縮の検索インデックスを使用します。インデックス全体はわずか~2GBで、ほとんどのハードウェア上でローカル実行でき、取得速度もかなり高速です。

この結果をRAGのコンテキストとして簡単に取得できるようにするために、pythonライブラリを作成しました。

from llmsearchindex import LLMIndex index = LLMIndex() results = index.search("スライスパンは誰が発明した？", top_k=5) 

こちらでデモも確認できます：https://zakerytclarke-llmsearchindex.hf.space/