Unweight：品質を落とさずにLLMを22%圧縮する方法

要約：

NVIDIA H100のような最新のGPUでのLLM推論では、ボトルネックは計算速度ではなくメモリ帯域です。GPUの遅い主メモリ（HBM）から処理コアへモデルの重みを移動するのにかかる時間が、生成できるトークンの速さを制限します。

**解決策：Unweight**

Cloudflareは、モデルの重みを15〜22%縮小するロスレス（損失なし）の圧縮システム「Unweight」を開発しました（8Bパラメータのモデルで約3 GBのVRAMを節約）。しかも、専用のハードウェアを必要とせず、ビット単位で完全に一致する出力を維持します。

**仕組み**

* **指数の圧縮：** 通常のモデル重みは16ビットの「brain floats」（BF16）として保存されます。BF16は符号、仮数、指数で構成されています。符号と仮数は実質的にランダムですが、指数は非常に予測しやすいです。典型的な層において、99%以上の重みが、わずか16種類の指数値のいずれかを使っています。Unweightはこれらの重みの「指数バイト」だけをハフマン符号化で圧縮し、残りはそのままにします。

* **オンチップ復号：** 従来の復号は、再構成したデータを書き戻して遅い主メモリに置くため、帯域節約の効果を相殺してしまいます。Unweightは代わりに、重みをGPUの超高速な共有メモリ内で直接復号し、そのデータをテンソル処理コアへそのまま送り込みます。

* **動的実行：** 推論中の重みの復号方法として「最適」は1つではありません。ワークロードに応じて、Unweightのオートチューナは4つの異なる実行パイプラインの間で動的に選択します（完全復号から、圧縮されたインデックスの直接処理まで）。特定の行列形状やバッチサイズに最適化します。

最終的に、Unweightにより提供者は1つのGPUにより多くのモデルを載せられるようになり、推論コストを下げ、ネットワーク全体の効率を高められます。

それはローカルでもより良いことにつながるかもしれません？