SEPTQ：大規模言語モデルのためのシンプルかつ効果的なポストトレーニング量子化パラダイム

Abstract

大規模言語モデル（LLM）はさまざまな領域で目覚ましい性能を示している一方で、大規模な計算コストとストレージコストによって制約されています。量子化は、生成品質を維持しながら、リソース制約のあるデバイスにモデルを適合させるためにモデルを圧縮するための有効な手法であり、量子化アウェア学習（QAT）とポストトレーニング量子化（PTQ）の2つの主要な方法を含みます。QATは追加の再学習または微調整を伴うため、必然的に高い学習コストにつながり、LLMには適していません。その結果、近年の量子化手法において、PTQは研究のホットスポットになっています。しかし、既存のPTQ手法は通常、さまざまな複雑な計算手順に依存しており、低ビット量子化設定ではかなりの性能低下が起こります。上記の問題を軽減するために、本研究ではLLM向けの単純かつ有効なポストトレーニング量子化パラダイムSEPTQ（SEPTQ）を提案します。具体的には、SEPTQはまず、重み行列の各要素に対して重要度スコアを計算し、静的にグローバルな方法で量子化の位置を決定します。次に、量子化すべき重要な位置を表すマスク行列を用い、適切な量子化済み重み行列が得られるまで、関連する重みを列ごとに更新していきます。従来手法と比較して、SEPTQはポストトレーニング量子化の手順をわずか2ステップに簡略化し、効果と効率の両方を同時に考慮します。数百万から数十億規模までのさまざまなモデルにわたり、異なる量子化ビット数における複数のデータセットでの実験結果から、SEPTQは他の強力なベースラインを大幅に上回り、特に低ビット量子化の場面で顕著に優れていることが示されています。