ローカルで質の高い大規模言語モデル(LLMs)を動かしたい。コスト対効果の高い最良の構成だと考えたのは、x8 NVLinkのために、ベアボーンを見つけられれば4028GR-TXRT上に8枚のV100(16GB)を搭載すること、あるいは900 USDのSYS-4028GR-TRTを用い、aliexpressの水冷ブロックを使った自作水冷システムを構築し、V100のセットアップを75%の出力以下で運用して高効率を追求することだ。
V100はヒートシンクを含めて99 USDで、この構成は128GBのVRAMを搭載しており、モデルのウェイトをRAMに置かないつもないつもりなので、途方もないほど低い性能にはならないだろう。
RTX 5090よりも安価で、性能は(紙の上では)上回る。
この構成を試した人はいますか?それが金銭と時間の無駄かどうか教えてください?128GBのVRAM / LPDDR Ryzen Halo Max+ 395 など、名前がどうであれ、それより安い。
[リンク] [コメント]