TernaryLM：ネイティブな1.5ビット量子化と適応的な層ごとのスケーリングによる、メモリ効率の高い言語モデリング

Abstract

大規模言語モデル（LLM）は目覚ましい性能を発揮しますが、大量の計算リソースを必要とするため、エッジデバイスやリソースに制約のある環境への展開が困難になります。そこで我々は、132Mパラメータのトランスフォーマーを、三値量子化{-1, 0, +1}（log2(3) ~ 1.58-bitの有効精度）でネイティブに学習した TernaryLM を提案します。言語モデリング能力を損なうことなく、メモリを大幅に削減することができます。事前学習済みのフル精度モデルに対して量子化を適用するポストトレーニング量子化手法とは異なり、TernaryLM は、straight-through 推定器と適応的な層ごとのスケーリング係数を用いて、量子化を意識した表現をゼロから学習します。 実験の結果、(1) TinyStories における検証パープレキシティが 58.42、交差シードの標準偏差が +/- 0.17 PPL であることにより、安定した最適化が確認できました；(2) MRPC で F1 が 82.47% と非常に高く、55倍少ない事前学習データしか使用していながら DistilBERT を上回りました；(3) レイテンシが同等であるにもかかわらず、同一のアーキテクチャの FP32 モデル（1,197 MB）に対して 2.4x のメモリ削減（498 MB）を達成しました；そして (4) 三値制約による暗黙の正則化効果として、FP32 ベースラインにおける 3.51x に対し train/val 比が 1.05x となり、小規模コーパスでの過学習が抑えられることを示しています。 我々は、層ごとのスパース性解析を行い、中間のトランスフォーマー層（L5-L9）が境界層よりも高い 60-62% の量子化スパース性を達成している一方、境界層では 45-55% であることを明らかにしました。これは、不均一な精度割り当てに関する実行可能な設計原則を確立するものです。実装と学習済みモデルは https://github.com/1nisharg/TernaryLM-Memory-Efficient-Language-Modeling で公開しています。