今のところ、やりたいことに対して私の2つの選択肢を絞り込めたと思っています。1) 約3600〜4000の、1TBのAsusに近いDGX Sparkのようなもの、または2) 約5〜5.2 grandの、アダプタを介してPCIEに接続し、スレッドリッパー環境で使う通常の8ピン構成のA100 80GB SXM4です。
これは厳密には公平な比較ではありませんが、1) 私の予算に収まり、2) 私が必要としていることを（主に、sm121のフェイクブラックウェルについてはあなたの番ですよ）できる2つの選択肢なのでこうなっています。
私は推論向けにまずまずの構成が欲しいです（DGXは優れてはいませんが、私一人で使うなら最低限必要なラインです）し、学習もしたいので、V100のような古いカードは私の視点では最適な選択肢ではありません。さらに、ある程度のVRAMも必要で、少なくとも64以上が欲しいです。節約してオールインワン機にするか、明らかな帯域コストはあるものの、あるいは強力なGPUを買ってアダプタ構成で（オールインワンではなく）追加の手間はあるけれど性能重視にするか、そのトレードオフを迷っています。
主に、DGXでの経験がある人がいるかどうかを知りたくて、節約する価値があるのか、それとも可能なら3つ目や4つ目の提案があるのかを聞きたいです。マルチGPUで動かすのも、もちろん可能なら検討できます。私は主に趣味の推論・学習・実験をしていて、クラウドコストを節約したいので、ROIは現在のペースなら1年以内に回収できるはずです。
[link] [comments]
