ByteShape Qwen 3.5 9B：自分のハードウェアに最適な量子化（Quant）を選ぶためのガイド

こんにちは r/LocalLLaMA！

ByteShape Qwen 3.5 9B の量子化（quant）をリリースしました。

ブログを読む / モデルをダウンロード

狙いは単にファイルを公開することではなく、他の人気のある量子化バリアントや元のモデルと比べて、私たちの量子化が本当に品質、速度、サイズのトレードオフでどの程度成り立っているのかを比較し、実際に各種ハードウェアで確かめることです。

今回のリリースでは、幅広いデバイスでベンチマークしました。5090、4080、3090、5060Tiに加えて、Intel i7、Ultra 7、Ryzen 9、RIP5（はい、RPi5 16GBではありません。この手のモデルは今回のPiではスキップしています…）です。

GPUでは、話は驚くほど一貫しています。同じように数個のByteShapeモデルが、さまざまなデバイスにまたがって「最良のトレードオフ」として何度も登場します。ですが、今回の重要な発見はこれです。CPUでは状況がかなり一様ではありません。CPUごとにお気に入りのモデルがあり、はっきりと苦手なモデルもありました。そのため、それら全てについてバリアントをリリースし、図では最良のものを強調しています。要点は明確です。最適化は、実際のデバイスに対して本当に行う必要があります。あるCPUでうまく動くモデルが、別のCPUでは意外とひどく動くことがあります。

GPU向けのTL;DR（実用的には）:

• 5.10 bpw はほぼベースライン品質の選択
• 4.43 bpw は全体として最も良いバランス
• 3.60 bpw は、品質をもう少し犠牲にしてもよいならより速い選択

そしてCPU向けのTL;DR: ブログのインタラクティブなグラフを本当に確認し、ハードウェアにより近いものを選んでください。

重要なポイント:

• 全体として、性能は、異なる量子化レベルで使われる正確なカーネルと、基盤となるハードウェアに強く依存します

ブログには複数のハードウェア種別にまたがる完全なグラフに加えて、より詳細な比較や手法（メソドロジー）も載っています。Redditは短くしますので、ご自分のハードウェアに最適なモデルを選びたい場合は、ブログとインタラクティブなグラフをご確認ください。

これが私たちの最初のQwen 3.5の投入で、続きは近日公開予定です。