RTX 5060搭載ノートPC（$1299 AI PC）で32,000件のドキュメントに対するRAGをローカルで実行

Reddit r/LocalLLaMA / 2026/3/16

📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage

共有:

要点

デモは現在、RTX 5060搭載ノートPC（32GB RAM）上で約32,000件のドキュメントまでRAGを完全にデバイス上でスケールさせることができ、前バージョンの約12,000件から拡張されました。
システムは完全にローカルのハードウェア上で動作し、エンタープライズ型のナレッジ整理とアクセス制御のためにフォルダ構造をそのまま保持し、さらに新しいドキュメントの増分インデックス作成をサポートします。
Qwen 3.5 4B のような小型のローカルモデルは比較的良好に動作します。一方、より大きなモデルは場合によってはより整形された出力を生成します。
RAG の検索トークンは約2000個から約1200個へと削減され、コストを低減し、エッジデバイスでのAIワークロードの実行をより現実的にしました。

以前投稿したデモの簡単な更新です。

以前はシステムは約12,000件の文書を処理していました。
現在はローカルで約32,000件の文書に対応します。

ハードウェア：

このデモのデータセット：

すべてが端末上で動作します。

前回の投稿と比較して、RAG検索トークンは 約2000 → 約1200 トークンへ削減されました。コストを低くし、AI PC / エッジデバイスにより適しています。

インデックス作成中にもフォルダ構造を保持するため、エンタープライズ風の知識整理とアクセス制御を維持できます。

小型のローカルモデル（Qwen 3.5 4Bでテスト）は比較的よく機能しますが、より大きなモデルは一部のケースでより整った出力をまだ生成します。

動画の最後には、追加文書の段階的インデックス付けも表示されます。

Publickey

Publickey

Dev.to

Dev.to

Dev.to