もし役に立つ人がいれば、1台の 6000 Pro にデプロイした Qwen3-5-122B-A10B-NVFP4 に使用している設定を共有します。
https://github.com/ian-hailey/vllm-docker-Qwen3-5-122B-A10B-NVFP4
[リンク] [コメント]
Qwen3-5-122B-A10B-NVFP4 用 Docker vLLM 設定
Reddit r/LocalLLaMA / 2026/3/22
💬 オピニオンDeveloper Stack & InfrastructureTools & Practical Usage
要点
- Qwen3-5-122B-A10B-NVFP4 を単一の 6000 Pro GPU 上にデプロイするために使用される Docker/vLLM 設定を共有し、実用的なセットアップの参考になる情報を提供します。
- この投稿は、このデプロイメントに必要な正確な設定を含む GitHub リポジトリへのリンクを提供します。
- Docker で vLLM を使用してローカルに Qwen ベースの LLM を実行することを目指す実務者のための実践的ガイドです。
- この投稿は、r/LocalLLaMA コミュニティのユーザー /u/1-a-n による Reddit 投稿に由来します。
投稿者 /u/1-a-n
[リンク] [コメント]
