適応的ブロックスケールデータ型

Abstract

NVFP4は、そのハードウェア対応と、パラメータあたり比較的少ないビット数で有用な情報を保持できることから、大規模言語モデルの量子化における4ビット形式としてますます人気が高まっています。しかし、この形式には限界もあります。最近の研究では、NVFP4が誤差分布の影響を受け、その結果、16個の値からなる各グループにおいて、ほぼ最大値に対して大量の量子化誤差が生じることが示されています。本研究では、この洞察を活用して、入力値の分布に適応できる新しいAdaptive Block-Scaled Data Typesを設計します。4ビット量子化では、提案するIF4（Int/Float 4）データ型が、各16値グループごとにFP4表現とINT4表現のいずれかを選択し、そしてNVFP4で行っているのと同様にE4M3のスケール因子でスケーリングします。選択されたデータ型は、現在NVFP4で未使用となっているスケール因子の符号ビットで表されます。さらに、この洞察を適用してIF3やIF6を含む他のビット幅のフォーマットも設計します。言語モデルの量子化に用いると、IF4は既存の4ビットブロックスケールド形式よりも優れており、量子化学習中の損失をより低く抑え、ポストトレーニング量子化における多くのタスクで高い精度を達成することが分かります。加えて、IF4が次世代のハードウェアアクセラレータ上で効率よく実装可能であることを示すために、IF4のMultiply-Accumulate（MAC）ユニットも設計・評価します。コードは https://github.com/mit-han-lab/fouroversix で公開しています。