IMPACT：重要度に基づくアクティベーション空間の再構成

要旨: 大規模言語モデル（LLM）は多様な領域で強力な性能を発揮しますが、そのサイズの大きさゆえに、資源が制約された環境への導入が依然として困難です。低ランク圧縮は一般的な対処法であり、通常は重みが低ランクであるという仮定のもとで、重みの再構成誤差を最小化することが典型的です。しかし、この仮定はしばしばLLMでは成り立ちません。これに対して、LLMの活性（アクティベーション）はより顕著な低ランク構造を示します。これが、活性の再構成誤差を最小化するアプローチを動機づけます。
ただし、このような方向転換だけでは不十分です。異なる活性次元はモデル性能への寄与が等しくなく、それらを一様に扱うと精度の低下につながり得ます。そこで本研究では、圧縮がモデル性能に与える影響を結び付ける重要性（importance）を考慮した活性再構成の枠組みであるIMPACTを導入します。IMPACTは圧縮を、活性構造と勾配ベースの重要性を統合する最適化問題として定式化し、重要性で重み付けされた活性の共分散行列から再構成の基底が得られる閉形式解を導出します。これにより、精度の保持のために明示的に最適化された低ランク圧縮が得られます。複数のモデルとタスクにわたる実験により、IMPACTは、最先端のベースラインと同等またはそれ以上の精度を維持しつつ、最大でモデルサイズ削減率を55.4%向上させることが示されます。