 | Qwen 3.5、Gemma-4、Nemotron Cascade 2、そしてGLM 4.7 flash。 コンテキストを増やしたときに、パフォーマンス（速度）がどのように低下するかを調べました。 私はllama.cppを使い、RTX 4080の16GB VRAMにより適合する、いくつかの良いクアントも使いました。 こちらに結果の比較表があります。お役に立てれば幸いです。 [リンク] [コメント] |
最近、16GB VRAMのPCでいくつかのLLMを軽いパフォーマンステストしてみました
Reddit r/LocalLLaMA / 2026/4/4
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- Redditのユーザーが、RTX 4080搭載の16GB VRAMのPCで、複数のLLM（Qwen 3.5、Gemma-4、Nemotron Cascade 2、GLM 4.7 flash）をベンチマークしています。
- テストでは、コンテキスト長を増やすにつれて推論速度がどのように低下していくかに焦点を当てています。
- llama.cppを使ってモデルを実行し、16GB VRAM制約の範囲内に収めるために最適化された量子化の選択を行っています。
- モデル間およびコンテキストサイズごとの相対的な性能を読者が理解できるように、比較結果の表が共有されています。
