私は27bおよび31bのモデルについて、かなり印象的だと感じるところまで来ています。
私の手元には16 GBのAMD Radeon 7800xtがあります。性能はかなり良いです。価格は700ドルでした。以下が私の質問です。
単一のより大きなカードに比べて約400ドル節約できるとしても、デュアルGPU方式の性能低下はそれに見合う価値がありますか？また、32gbはそもそも意味のある向上なのでしょうか。さらに、これらのサイズのモデルに対して、合計48gbとなるように2台目の7800xtを追加して9700xt proを使うのは、より現実的な要件でしょうか？
これらのモデルを動かすためにより多くのvramが欲しく、デュアル16 GBカードにするか、単一のより大きなカードにするかを検討していますが、ここでの価格差は次の通りです。
A)
7800xtを550ドルで売る。
9700xt pro（32gb）を1台購入、1900ドル＋税。最終コストは1600ドル。
B)
2台目の7800xtを追加。中古市場で550ドル。最終コストは700ドル＋550ドル。
C)
9700xt proを追加。合計価格は1900ドル＋税＋700ドル。
価格は要因ではありません。比較して性能面でどれだけ違うかを見て、そもそも価値があるのかを判断できるようにするために、差額を示しているだけです。
これらのカードの帯域幅は同じです。違いがあるのは、2台目のPCIeデバイスがある点だけです。
私はllama.cppを使っていて気に入っていますが、vllmが、デュアルGPU構成でより良く動くのであれば選択肢になります。
[link] [comments]
