誤差伝播を考慮した SVD 圧縮 LLM を、追加ランクなしで回復する

はじめに 前回の記事では、LLM の SVD ベース圧縮手法に圧縮誤差の層間伝播を補償する EP-SVD-LLM を提案し、圧縮直後の PPL で効果を確認しました。 一方、実用上は圧縮後にファインチューニングして精度を回復する運用が自然です。そこで本記事では、SVD-LLM / SC-SVD-LLM / EP-SVD-LLM の 3 手法で圧縮したモデルに対して post-compression fine-tuning を適用し、圧縮後の学習を経ても EP-SVD-LLM の優位性が保たれるかを検証します。 なお、本記事でいうファインチューニングは、特定の downstream t...