 | 安いハードウェアで大規模モデルを動かしたいと思ったことがあるなら、これ以上ありません。昨日、引退した自宅ラボ用のPCを買いました（dell precision 7820）。デュアルのintel xeonで、メモリは128GBのDDR4です。そこに3060tiを挿しましたが、信じられないかもしれませんが動きます。ほぼCPUの電力だけで動いていて、2/tksでも処理できます。 [link] [comments] |
Llama4 108b：$800のセットアップ
Reddit r/LocalLLaMA / 2026/4/13
💬 オピニオンSignals & Early TrendsTools & Practical Usage
要点
- Reddit投稿者がDell Precision 7820（デュアルXeon、メモリ128GB）にGeForce 3060 Tiを追加し、Llama4 108Bを低コストでローカル実行できたと報告しています。
- 同投稿では、処理の多くをCPU側で賄い、速度はおおむね2 tokens/sec程度ながら動作することが示されています。
- 価格としては「$800程度のセットアップ」としており、大型モデルを手元の比較的安価な機材で動かす現実味を伝える内容です。
