[P] TurboQuant for weights: near‑optimal 4‑bit LLM quantization with lossless 8‑bit residual – 3.2× memory savings

Reddit r/MachineLearning / 3/29/2026

💬 OpinionDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

共有:

Key Points

TurboQuantをKVキャッシュ量子化からLLMの重み圧縮へ適用し、nn.Linearの「差し替え（drop-in replacement）」として動作する4ビット量子化手法を提案しています。
Qwen3.5-0.8Bではbf16のPPL 14.29を「4+4（4ビット＋損失なし8ビット残差のような構成）」で維持しつつ、圧縮サイズを約1,504MBから762MBへ約2倍縮小しています。
単純な4ビット構成はPPL悪化（例：PPL 16.23〜16.57）と引き換えに大幅な圧縮（361〜381MB）を達成しています。
GitHub（Tritonカーネル詳細含む）でドキュメントとベンチマークが公開されており、4Bモデルでの拡張検証（4+2残差など）も追記されています。
4BのQwen3.5では、4+4（g=128）でPPLほぼ維持（+0.03）しつつ、KLDも小さく、より高圧な残差構成も一定の良好さを示しています。

An adaptation of the recent TurboQuant algorithm (Zandieh et al., 2025) from KV‑cache quantization to model weight compression. It gives you a drop‑in replacement for nn.Linear with near‑optimal distortion.

Benchmarks (Qwen3.5‑0.8B, WikiText‑103)

Config	Bits	PPL	Δ PPL	Compressed Size

Baseline bf16	16	14.29	–	1,504 MB
4+4 residual	8	14.29	0.00	762 MB
4‑bit (group=full)	4	16.23	+1.94	361 MB
4‑bit (group=128)	4	16.57	+2.28	381 MB

Check the GitHub repo for full docs, benchmarks, and Triton kernel details.

EDIT 1 (tested 4B model):

EDIT 2 (runed 4B 4+2 residual g=128, looks promising, altough KLD 4+4 is much better):

Qwen3.5-4B

Config	Total Bits	PPL	Δ PPL	KLD

Baseline bf16	16	10.67	—	—
4+4 residual g=128	8	10.70	+0.03	0.0028
4-bit g=128	4	11.28	+0.61	0.0852
4+2 residual g=128	6	10.65	−0.02	0.0133