SpectralLoRA: LoRA適応には低周波構造で十分か？重み更新のスペクトル解析

要旨: 本稿では、LoRA 重み更新のスペクトル構造に関する体系的な実証研究を提示する。BERT-base および RoBERTa-base を、4つの GLUE ベンチマーク（SST-2、MNLI、CoLA、QQP）に対して訓練した適応行列を、2次元離散コサイン変換（DCT）により分析することで、LoRA の更新が一貫して低周波成分によって支配されることを示す。平均すると、DCT 係数のわずか 33% が全スペクトルエネルギーの 90% を捉える。周波数係数のうち 10% だけを保持すると、アダプタの保存量は 10倍に削減できる一方で、SST-2 での性能低下はわずか 1.95pp にとどまる。特に、k=50% による周波数マスキングは、8つのモデル-タスクペアのうち 3つで、フルの LoRA を上回る改善を示し、高周波成分が適応ノイズとして働くことを示唆する。さらに、RoBERTa-base は BERT-base よりも、すべてのタスクにおいて一貫してスペクトル的により圧縮しやすいこと、またタスクの複雑さがスペクトル感度を支配することを発見する――NLI タスクは感情分類よりも多くの周波数予算を必要とする。これらの知見は、PEFT に対する新たな設計原理、すなわち適応におけるスペクトルの疎性を動機づける。