AA-SVD：大規模言語モデル圧縮のためのアンカー付きかつ適応的SVD
arXiv cs.LG / 2026/4/3
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、再学習を必要とせずに10億パラメータ級のLLMを圧縮する、高速な低ランクSVDベースのフレームワークであるAA-SVDを提案する。
- レイヤーごとの圧縮中に生じる分布シフトによる誤差伝播の問題に対し、上流入力のシフトを明示的にモデル化するとともに、元のレイヤー出力へのアンカーリングを行うことで対処する。
- 個々のレイヤーを圧縮するだけでなく、AA-SVDは各Transformerブロックをエンドツーエンドで改良し、ブロック単位の出力歪みを低減するとともに、蓄積された誤差に対する共同補償を可能にする。
- 実験により、AA-SVDは圧縮率の幅広い範囲で従来のSVD系ベースラインを上回ることが示される。特に、他手法が大きく性能劣化する、または破綻するほどの厳しい圧縮予算のもとでは、顕著な改善が得られる。
