LLMの性能回復メカニズムとしての自己蒸留：圧縮と壊滅的忘却への対抗
arXiv cs.LG / 2026/4/20
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、SFT中の壊滅的忘却や量子化・プルーニングなどで低下したLLMの能力を回復させるための、自己蒸留ファインチューニング（SDFT）という性能回復フレームワークを提案しています。
- LLMの生成能力は、隠れ層によって構築される高次元マニフォールドに本質的に依存しており、回復はそのマニフォールドを再整列することで起きると論じています。
- 回復メカニズムについて、経験的結果だけに頼らず幾何学的表現理論に結びつけた理論的説明を提示しています。
- Centered Kernel Alignment（CKA）を用いて、教師モデルと学生モデルの活性化軌跡の整合を測定し、性能回復がマニフォールド整合と強く相関することを示しています。
- 以上により、本研究は自己蒸留の実用的手法を幾何学的表現理論と結びつけ、自己蒸留が内部で性能を回復させる仕組みを明らかにしています。
