デュアル AMAd 7900XT を搭載したワークステーションがあるので、40GB の VRAM を 800GB/s で動かし、qwen3.5 35b-a3b、qwen-coder-next の3ビット版、そして qwen3.5 27b のようなものを、遅く動かします。
27b が大好きで、日常のコーディングの購読を代替できるくらいほぼ十分です（私がコードするものは私にとって価値がありますが、極端に複雑ではありません）。ただし、速度は驚くべきものではありません… ここでは二つの考えがあります。もっと大きなものを狙い、122b の qwen（NVIDIA や mistral のモデルも含む…）に手を出すべきか、あるいは 27b を高速化するべきか、私のアップグレードの道筋は以下です：
帯域よりもメモリ重視: デュアル AMD 9700 ai pro、64GB VRAM と 640 GB/s の帯域。これらの ~120b MoE モデルの3ビット版に最適です
帯域優先: 1枚の RTX5090 で 1800GB/s の帯域、これにより高速な qwen3.5 27b になるでしょう
何かアドバイスはありますか？
[リンク] [コメント]
