4枚の32GB SXM V100をNVLinkで接続、ボード上で大規模モデル向けの最良の予算オプション。見落としていることは？

なぜ私のセットアップの核となっているものについての投稿がほとんど見られないのか、不思議に思っています。私は弁護士で、AIによる最も興味深い生産性向上のためにはローカル環境にとどまる必要があります。最先端モデルの利用に実際に1%未満の倫理的リスクがあるとしても、それを冒すつもりはありません。また、文書整理、フォーム生成、財務データ抽出と分析、パターンマッチングにはopus 4.6は必要ありません。

しかし、私は最良のローカルモデルを使ってデータを処理・整理し、最終的には自分の業務成果を再現したいと思っています。

GPUの購入に熱中しましたが、何か見落としているとは思えません。NVLinkボード上のV100が費用対効果でトップだと感じています。

32GBのV100 SXMカード4枚とヒートシンクを1,600ドルで購入し、AOM SXMボードとPEXカードを750ドルで手に入れれば、合計2,400ドルで128GBの統合NVLink VRAMが得られます。900GB/sの帯域を持つ統一された128GBプールです。

4枚のカードがNVLinkでボード上で接続されていることの重要性が理解されていないと感じます。これは巨大な単一VRAMプールであり、レイテンシはありません。システムからは単一のGPUとして見えます。

PEX PCIeカードを使用すれば、1つのPCIeスロットでこのボードを2台動かせるので、256GB（2×128GB、2つのプール）で900GB/sのVRAMを5,000ドル未満で実現可能です。ただx16 PCIeスロットが必要で、電源も十分に用意してください（カード1枚あたり最大200ワット、4枚なら800ワット、2セットなら1,600ワット）。これが現在の価格です。

2世代ほど前の技術ですが、私が使うものはすべて問題なく動作しています。

誰もアリババを知らないのでしょうか？