SoLA：ソフト活性化スパース性と低ランク分解を活用した大規模言語モデルの圧縮

概要: 大規模言語モデル（LLM）はさまざまなタスクにおいて印象的な能力を示してきましたが、数十億規模のパラメータは配備上の課題をもたらします。既存の手法はLLMの規模を縮小しようとしていますが、それらはモデル品質を維持するために、いずれか特別なハードウェアのサポート、または高価な事後学習を必要とします。効率的かつ低コストなモデルスリミングを促進するために、本研究では「SoLA」と名付けたLLM向けの、新規の学習不要（training-free）圧縮手法を提案します。SoLAは\textbf{So}ftな活性（activation）スパース性と\textbf{L}ow-r\textbf{A}nk分解を活用します。SoLAは、近年のLLMのフィードフォワードネットワーク（FFN）における活性パターンの分析に基づき、推論に大きく寄与する成分のうちの少数を特定して保持し、残りの大部分は低ランク分解によって圧縮することができます。分解に伴う損失を緩和するため、SoLAには適応的なコンポーネントごとの低ランク配分戦略が組み込まれており、異なる重み行列に対して適切な切り詰め位置（truncation position）を割り当てます。さまざまなベンチマークにわたって、LLaMA-2-7B/13B/70BおよびMistral-7Bモデルで大規模な実験を行いました。SoLAは、事後学習なしで言語モデリングと下流タスク精度の両方で顕著な改善を示します。たとえば、LLaMA-2-70Bモデルに対して30\%の圧縮率で、SoLAはパープレキシティを6.95から4.44へ低減し、下流タスク精度を10\%向上させることで、最先端手法を上回ります。