 | MLX では、4ビット版を除いて Qwen 3.5 397b のより小さな版は存在しない、というのが私の見解です。そして 4ビット版でさえ、コーディングやその他の仕様の点で非常に性能が低い（通常の MLX のベンチマークは明日出します）、そして 4ビット MLX は 200GB に近づくでしょうが、私は 180GB の量子化版を作成でき、MMLU の200問で推論を行いながら 93% のスコアを記録しました。 m3 ultra m チップの速度を 38 トークン/秒のまま完全に維持しつつ（Mac の gguf は qwen 3.5 に対して速度を 1/3 に低下させます）。 https://huggingface.co/JANGQ-AI/Qwen3.5-397B-A17B-JANG%5C_2L q2 または MLX の 4bit のベンチマークをお持ちですか？それを実行しておくには数時間かかるでしょう。 [リンク] [コメント] |
Qwen 3.5 397B（180GB）がMMLUで93%を記録
Reddit r/LocalLLaMA / 2026/3/20
📰 ニュースSignals & Early TrendsTools & Practical UsageModels & Research
要点
- Redditの投稿は、Qwen 3.5 397B の180GBの量子化版がMMLU（200問）で93%を記録すると主張しており、相対的に小さなサイズで高い性能を示唆しています。
- 投稿は、4ビットのMLXバリアントはコーディングやその他のタスクに不向きであると指摘し、180GBの量子化版がM3 Ultra Mチップ上で38トークン/秒を維持すると主張し、Mac上のGGUFが速度を約3分の1に低下させると述べています。
- Qwen3.5-397BモデルへのHuggingFaceリンクが提供されており、著者はQwen 2やMLXの4ビット構成でのベンチマークを求めており、継続的なベンチマーキングと比較を示唆しています。
- Reddit の r/LocalLLaMA での HealthyCommunicat ユーザーによる投稿は、LLM量子化スペースにおける継続中のコミュニティベンチマーキングを強調しています。
