Qwen3.5-35B GGUF 量子化（16–22 GiB）- KLDと速度の比較

さらなるベンチマークをお届けします。Hugging Face で入手可能な実際の Qwen3.5-35B-A3B GGUF 量子化（16–22 GiB）の KLD 発散をベンチマークしました。

KLD: Kullback-Leibler 発散は、FP16 と量子化後のロジット分布がどれだけ類似しているかを、参照コーパス上で量子化モデルと FP16 基準の確率分布の差を測定することで示します。

u/TitwitMuffbiscuit はこれに挑戦しました しかし、公開からしばらくして彼が測定を公開した後、すべてのモデルが更新されてしまいました。

この研究では、英語の Wikitext-2 テストデータセットを使用せず、代わりに多言語データセット FLORES 200 を用い、ランダムに選択した言語の行を跨る700 KB の行を抽出しました。さらに、約400KB のサイズを持つ別の興味深いデータセット calibration_data_v5_rc.txt を見つけ、プログラミング、数学、構文の例、技術テキスト など といった多くの興味深いトピックを含んでいます。これら2つのデータセットを 混合データセット に統合して KLD ベースライン を作成し、このベースラインを用いて見つけたすべてのモデルの KLD 距離を測定しました。

従来の「KLD平均」値で並べ替えられた表と、「KLD 99%」値で並べ替えられた表の2つを作成しました。Unsloth が最新の ブログ投稿 で公開した Qwen モデルに関するグラフと似ています。

ここで勝者を宣言するつもりはありません。GPU が貧弱であるという非常に特定の制約を踏まえると、それはあなた次第です。重量級のモデルを打ち負かしているモデルを視覚的に把握しやすくするため、実際のモデルの数値と下のモデルを比較し、選択した指標に基づいて低い場合は太字、高い場合は太字で表示します。

PP/s（プロンプト処理）と TG/s（トークン生成）列は、ほとんどのユーザーには意味をなしにくい、非常に具体的な数値です。これらの数値を利用するには Intel CPU、RTX 3090 GPU（Ampere）、および Linux と Cuda Driver Version 580.126.18 を用いる必要があります。私はコンテキスト長を 10k に設定した llama-bench を使ってこれらの数値を取得しました。

例えば TG/s の速度を見てみると、Unsloth の UD-Q3_K_XL は最後の更新前で最も遅く、生成速度は約 105t/s、最速なのは Mungert の iq4_nl で約 143 t/s で、私の特定アーキテクチャではトークン生成速度の総変動が 36.2% となり、非常に高く、いわゆる最適モデルを定義するのが難しい理由の1つとなっています。

注: 表中の cmp-nct で接頭辞を持つモデルは、最新版のアップロード前に私が見つけた古い Unsloth の量子化データの mirror の実体で、私も測定したかったものです。

KLD平均で並べ替え

KLD 99%で並べ替え