Qwen3-5-122B-A10B-NVFP4 用 Docker vLLM 設定

Reddit r/LocalLLaMA / 2026/3/22

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical Usage

要点

  • Qwen3-5-122B-A10B-NVFP4 を単一の 6000 Pro GPU 上にデプロイするために使用される Docker/vLLM 設定を共有し、実用的なセットアップの参考になる情報を提供します。
  • この投稿は、このデプロイメントに必要な正確な設定を含む GitHub リポジトリへのリンクを提供します。
  • Docker で vLLM を使用してローカルに Qwen ベースの LLM を実行することを目指す実務者のための実践的ガイドです。
  • この投稿は、r/LocalLLaMA コミュニティのユーザー /u/1-a-n による Reddit 投稿に由来します。

もし役に立つ人がいれば、1台の 6000 Pro にデプロイした Qwen3-5-122B-A10B-NVFP4 に使用している設定を共有します。

https://github.com/ian-hailey/vllm-docker-Qwen3-5-122B-A10B-NVFP4

投稿者 /u/1-a-n
[リンク] [コメント]