Qwen 3.6 35B A3B Q4_K_M 量子化モデルの評価

モデルについて：
全パラメータ35B、アクティブ3B（A3B）のモダン・オブ・エキスパーツ（Mixture of Experts）アーキテクチャの混合です。

評価のアプローチ：
Unsloth から取得した Q4_K_M 量子化 GGUF を使用しました。llama-cpp-python を使って CPU 上で実行し、3つの標準ベンチマークでテストしました：
- HumanEval（コード生成）、
- HellaSwag（常識推論）、および
- BFCL（関数呼び出し）。

合計1,264サンプルです。

評価結果：
- HumanEval: 47.56%（78/164）
- HellaSwag: 74.30%（743/1000）
- BFCL: 46.00%（46/100）

ハードウェア：

32 vCPU、メモリ125GB。GPUなし。

これの意味は？
Q4_K_M の量子化バリアントは CPU 上で 22 tokens/sec で動作し、十分な速度を出しつつ、常識推論では74%と最も良い成績を示します。コード生成と関数呼び出しは、このバリアントにとっては難しいタスクで、得点は40台半ばに着地します。

全体として、CPU上で量子化して動かすアクティブ3B MoEモデルとしては、堅実な結果です。

この評価一式は、利用可能なCPUシステムで実行できるさまざまな量子化バージョンを調査した Neo AI Engineer を使って実施され、その後、正しいチャットテンプレートを使用して、3つのベンチマーク用の統合された評価ハーネスを構築し、入念なレビューの後に最終結果を報告しました。