4x 3090 のルートで行くつもりだったのですが、qwen 3.5 と gemma 4 の最新リリースを見て考え直しています。vram 96gb というのが微妙な位置にあって、大きめのモデルを動かすには足りず、一方でミドルモデルには必要以上のようにも見えます。メインのモデルとして、何を動かしていますか？
[link] [comments]
96GB VRAM。2026年に何を動かすべき？
Reddit r/LocalLLaMA / 2026/4/10
💬 オピニオンSignals & Early TrendsTools & Practical Usage
要点
- 本記事では、ローカルLLM用途において2026年の96GB VRAMが「ちぐはぐな中間地点」になってしまっていないかを論じます。つまり、大規模モデルには足りない一方で、中規模の小さめの選択肢には十分すぎる、という状況です。
- 著者は以前、RTX 3090を4枚使うマルチGPU構成を計画していましたが、Qwen 3.5やGemma 4のような新しいモデルのリリースを受けて方針を見直しています。
- 質問では、96GB VRAMという制約とトレードオフを踏まえ、コミュニティのメンバーがローカルで主にどのモデルを動かしているのかを尋ねています。
- 暗黙的に、モデルの能力がVRAM予算を上回っていく中で、ローカル推論用ハードウェアに最適なモデル規模や構成を選ぶことへの懸念が継続していることを浮き彫りにしています。
提出者 /u/inthesearchof
[link] [comments]
