nano-KvLLM: nano-vLLM に KVキャッシュ圧縮を統合して長文脈推論を実現する

皆さん、こんにちは。私は最近、nano-KvLLM、LLM 提供における効率的な KVキャッシュ管理を実現するための、nano-vLLM をベースにした使いやすい軽量推論フレームワークを作成しました。

GitHub: https://github.com/TheToughCrane/nano-kvllm

このフレームワークの主な目標は、元の nano-vLLM のコードレイアウトをできるだけそのまま保ち、単純で最小限の変更だけを行うことで、ユーザーがコードベースからより学びやすく、独自の拡張を上に構築できるようにすることです。

現時点で、nano-KvLLM は nano-vLLM の実行パイプラインにおける KVキャッシュ圧縮をすでにサポートしています。ユーザーは自分の圧縮方法をすぐに組み込み、試すことができ、組み込みのサポートを基に構築することもできます。

このプロジェクトには、現時点で Qwen3 をベースにした、リアルタイム KVキャッシュ圧縮を備えたシンプルな マルチターンチャットデモ KvChat も含まれています。

nano-KvLLM が以下のような方々に役立つことを願っています：

• vLLM の核心的なアイデアを学び、KVキャッシュ圧縮が実際の推論フレームワークにどのように組み込まれるかを理解する
• 自分自身の推論やメモリ管理手法をプロトタイプする
• 個人用の LLM アプリケーションをより容易に構築・デプロイする

今後数週間で、nano-KvLLM は LLM 提供のためのより完全な KVキャッシュ管理スタックへと拡張を続け、以下を含む予定です：

• KVキャッシュのオフロード
• KVキャッシュの取得

今後もこのプロジェクトに取り組み続け、LLM 推論を探求するすべての人に役立つことを心から願っています。お時間を割いていただき、ありがとうございました。