LBLLM：3段階蒸留による大規模言語モデルの軽量バイナリ化

要旨: リソースが限られた環境で大規模言語モデル（LLM）を展開することは、重い計算量とメモリ要件によって妨げられます。私たちはLBLLMという軽量な二値化フレームワークを提示します。このフレームワークは、新しい3段階の量子化戦略により、有効な W(1+1)A4 量子化を実現します。フレームワークは次の手順で進みます。（1）PTQによって高品質な量子化モデルを初期化する；（2）活性はフル精度のまま維持しつつ、層ごとの蒸留により二値化された重み、グループごとのビットマップ、量子化パラメータを量子化する；（3）学習可能な活性量子化係数を訓練し、活性を4ビットへ動的に量子化する。分離された設計により、重みの量子化と活性の量子化の干渉が緩和され、学習の安定性が向上し、推論精度もより良くなります。単一GPUで 0.016B トークンのみを用いて訓練したLBLLMは、言語モデリング、常識QA、言語理解というタスク群にわたる W2A4 量子化設定で、既存の最先端の二値化手法を上回ります。これらの結果は、最近のPTQベースの研究で一般的に用いられる追加の高精度チャネルや回転行列を一切導入することなく、LLMの極端な低ビット量子化が実用的であり、かつ非常に有効であることを示しています。これは、リソースが限られた状況における効率的なLLM展開への有望な道筋を提供します。