 | Macユーザー向けに、3bitの混合量子化（埋め込みと予測レイヤーは5bit）を出しました。 このモデルの3bit版はこれまで1つしかありませんでした（Unsloth製）が、とても重くて、つらいほど遅かったです： これはその2倍速く、私自身のエージェントによるテストでも同等に良い結果でした。LM Studioで、jinjaテンプレートのpreserve thinkingを次のように有効にしてください： {%- set preserve_thinking = true %} [リンク] [コメント] |
Qwen3.6-27B-3bit-mlx（Hugging Face）：RAMの少ないMacユーザー向けに3bit/5bitの混合量子化
Reddit r/LocalLLaMA / 2026/4/27
💬 オピニオンDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage
要点
- Hugging Faceに、Mac向けの「Qwen3.6-27B」の3bit混合量子化モデル（埋め込み層と予測層は5bit）への言及があります。
- 以前はUnsloth由来の3bit版が1つしかなく、重くて動作が非常に遅かった一方で、今回のモデルは同等品質を保ちつつ2倍速いとされています。
- 投稿者はLM Studioでのエージェント的なテスト結果として、性能面でも「同等に良い」と評価しています。
- さらに、LM StudioのJinjaテンプレートで「preserve_thinking」を有効化する設定例（{%- set preserve_thinking = true %}）が示されています。
