 | Nvidia V100 32 GBをPCI-Express接続のGPU風カードに搭載したばかりで、送料と保険を含めて約500 USDを支払いました。個人的にはかなり良いパフォーマンスを発揮しています。 はい、サポートがなく、古く、うるさくても、それがその価格帯で打ち勝てるものは少ないことは分かっています。簡単な比較によれば、同じモデルで M3 Ultra や M4 Max よりも 20%〜100%多くのトークン/秒を得られるオンラインデータと比較して、価格を考えれば悪くありません。 これらをまだ使っている人はいますか？ どのモデルをそれらと一緒に動かしていますか？ 私はほかに3台を追加して、それら4台分の NVLink ボードと接続することを検討しています。また A100 80Gb の価格も調べています。 [リンク] [コメント] |
NVIDIA V100 32GB が Qwen Coder 30B A3B Q5 で約115トークン/秒を達成
Reddit r/LocalLLaMA / 2026/3/22
📰 ニュースDeveloper Stack & InfrastructureTools & Practical Usage
要点
- Redditの投稿によると、NVIDIA V100 32GB GPUはQwen Coder 30B A3B Q5で約115トークン/秒を達成した。
- ユーザーはV100を送料込みでおよそ500ドルで購入したとされ、古くて騒音が大きいが、それでも価格対性能が高いことを指摘している。
- 投稿はオンラインの比較に基づくとV100はM3 UltraまたはM4 Maxよりトークン/秒を20-100%多く提供すると主張しており、その価格帯で顕著な価値を示していることを示唆している。
- さらにV100を3台追加して4つのNVLinkボードでリンクすることを検討しており、アップグレードの可能性としてA100 80GBの価格も模索している。
- これは低コストでAI推論のために古いGPUを再利用する継続的な関心を浮き彫りにしている一方で、サポートと実用性に関する留意点を認識している。
