RTX 6000×4構成に適したモデル

Reddit r/LocalLLaMA / 2026/3/23

💬 オピニオンTools & Practical Usage

共有:

要点

投稿者は、4スロットの RTX 6000 MAX-Q（384GB）システムを構築しており、768GBのRAMを搭載しています。劣化を最小限に抑えるための最適なモデルの指針を求めています。
評価対象の具体的なモデルとして、Qwen3.5-122B-A10BをBF16で、Qwen3.5-397B-A17BをQ6_Kで評価しています。
意図されたワークロードはハッキングツール、ファジング、コード監査で、セキュリティ重視のAI利用を示しています。
これらのカードとモデルのパフォーマンスを向上させるための最適化のヒントとリソースを求めています。

Hey everyone,

Ive got my 4th RTX 6000 MAX-Q (384GB) (also have 768GB RAM) coming in a couple days, I’ve been looking and doing some reading regarding what the current best models I can run on this are with limited degradation.

So far I’m looking at the following:

Qwen3.5-122B-A10B at BF16

Qwen3.5-397B-A17B at Q6_K

Predominately looking to build out and refine a bundle of hacking tools, some fuzzing, and some code auditing.

Is there any additional optimisation I need to do for these cards and these models?

I’ve already been building stuff out with this, if anyone has any tips or resources they’d recommend please share them with me :)

Thanks

submitted by /u/Direct_Bodybuilder63
[link] [comments]