私はGPUサーバー（4 × RTX3090）を、過去2年間、研究やPoCのために使ってきました。主にvLLMでQwen、GPT-OSS、Gemmaを動かしています。私のワークフローは、sudo権限があるのでまずこのサーバーでコードをテストし、その後、オフィスのサーバーにプロ用カードでコードとモデルをデプロイする、というものです。
今年はGPUの価格がかなり上がりました。Ebayで出品されている中古のRTX3090は約$1100です。さらに、FP8やFP4がより一般的になる一方で、RTX3090はそれらをサポートしていないので、そろそろ売り時なのではないかと思っています。
私の楽観的な計画は、4台すべてを売って約$3500を得ることです。その間はクラウドAPIをしばらく使います。後で余裕資金ができたら、RTX PRO 6000にアップグレードします。
私の構成は以下の通りです：
```
CPU:
AMD EPYC 7F32
GPU:
(×4) RTX3090
マザーボード:
SUPERMICRO MBD-H12SSL-I-O ATX Server Motherboard
RAM:
(×4) Samsung 16GB 2Rx4 PC4-2400 RDIMM DDR4-19200 ECC REG Registered Server Memory RAM
SSD:
Samsung 990 PRO 2TB
その他:
Corsair 1200w PSU
Corsair RM1000x
XE02-SP3 SilverStone cpu cooler
```
[link] [comments]
