AI Navigate

このセットアップの可能性についてどう思いますか?

Reddit r/LocalLLaMA / 2026/3/21

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical Usage

要点

  • この投稿は、コスト効果の高いセットアップを提案しています。8台の Nvidia V100 GPU(各16 GB)を、4028GR-TXRT または SYS-4028GR-TRT シャーシに搭載し、カスタム水冷で効率を高めつつ、約75%の電力で動作させる構成です。
  • GPU全体の総VRAMは128GBに達するとされ、モデルのウェイトをシステムRAMにロードしないことで性能を損なわないことを提案しています。
  • 著者は、この構成は RTX 5090 のような代替案よりも安価であり、紙上ではより良い性能を提供する可能性があると主張しています。
  • この点について、コミュニティに対して、無駄かどうか、また同様のセットアップを試みて成功した人がいるかどうかのフィードバックを求めています。

ローカルで質の高い大規模言語モデル(LLMs)を動かしたい。コスト対効果の高い最良の構成だと考えたのは、x8 NVLinkのために、ベアボーンを見つけられれば4028GR-TXRT上に8枚のV100(16GB)を搭載すること、あるいは900 USDのSYS-4028GR-TRTを用い、aliexpressの水冷ブロックを使った自作水冷システムを構築し、V100のセットアップを75%の出力以下で運用して高効率を追求することだ。

V100はヒートシンクを含めて99 USDで、この構成は128GBのVRAMを搭載しており、モデルのウェイトをRAMに置かないつもないつもりなので、途方もないほど低い性能にはならないだろう。

RTX 5090よりも安価で、性能は(紙の上では)上回る。

この構成を試した人はいますか?それが金銭と時間の無駄かどうか教えてください?128GBのVRAM / LPDDR Ryzen Halo Max+ 395 など、名前がどうであれ、それより安い。

投稿者 /u/lethalratpoison
[リンク] [コメント]