ここや他のAIサブでも、KVキャッシュのために量子化を混ぜて、精度をより高く保ちつつメモリも節約するという話をいくつか見かけました。私はしばらくそれを動かしていましたが、それがどれほど間違っているかに気づきました。
それについては、もう少し長いブログ記事を書きましたが、要点（TL;DR）はこのベンチマーク結果です：
| model | size | params | backend | ngl | n_batch | type_k | type_v | fa | test | t/s |
|---|---|---|---|---|---|---|---|---|---|---|
| qwen35 9B Q6_K | 6.84 GiB | 8.95 B | Vulkan | 99 | 1024 | f16 | q8_0 | 1 | pp5000 | 334.27 ± 1.42 |
| qwen35 9B Q6_K | 6.84 GiB | 8.95 B | Vulkan | 99 | 1024 | f16 | q8_0 | 1 | tg128 | 53.53 ± 0.23 |
| qwen35 9B Q6_K | 6.84 GiB | 8.95 B | Vulkan | 99 | 1024 | q8_0 | q8_0 | 1 | pp5000 | 952.79 ± 0.46 |
| qwen35 9B Q6_K | 6.84 GiB | 8.95 B | Vulkan | 99 | 1024 | q8_0 | q8_0 | 1 | tg128 | 63.37 ± 0.06 |
[link] [コメント]
