LoRAのためのポスト最適化・適応的ランク割当（PARA）

Abstract

現代の基盤モデルの規模が指数関数的に拡大したことにより、パラメータ効率の高い微調整手法として低ランク適応（Low-Rank Adaptation: LoRA）が広く採用されるようになりました。しかし、標準的なLoRA実装では、モデル各層に固有に存在する次元（固有次元）のばらつきが無視され、一様なランクが強制されます。その結果、パラメータの冗長性が生じます。そこで本研究では、既存の微調整パイプラインにシームレスに統合できる、データ不要のLoRA圧縮手法であるPost-Optimization Adaptive Rank Allocation（PARA）を提案します。PARAは、特異値分解（Singular Value Decomposition）を用いて、全層にわたる特異値に対してグローバルな閾値を適用することで、LoRAのランクを剪定（prune）します。これにより、層ごとのスペクトル的な重要度に基づいて非一様なランク配分が得られます。事後（post-hoc）の手法として、PARAは、動的アーキテクチャが通常引き起こす訓練時の修正や、それに伴う不安定性を回避します。さらに実験により、PARAは複数の視覚および言語ベンチマークにおいて、圧縮前の元のLoRAの予測性能を維持しつつ、パラメータ数を75-90\%削減できることを実証します。採択後、コードを公開します。