IGU-LoRA: 統合勾配と不確実性を考慮したスコアリングによる適応的ランク割り当て

要約: 大規模言語モデル（LLMs）がパラメータ数を数十億規模へ拡大するにつれて、全パラメータ微調整は計算資源とメモリの消費が過大になり実用的でなくなる。パラメータ効率の高い微調整（PEFT）は、基盤モデルを凍結したまま、タスク固有パラメータの小さな集合のみを更新することでこの問題を緩和します。PEFTアプローチの中で、低ランク適応（LoRA）は広く採用されていますが、層ごとの重要性が著しく異なるにもかかわらず層間で一様なランクを強制するため、層ごとのランク割り当てが必要とされます。最近の適応型ランク変種（例：AdaLoRA）は重要度スコアに基づいてランクを割り当てますが、通常は局所的な感度のみを捉える瞬時勾配に依存しており、同じ層内の非局所的・経路依存の効果を見落とすため、安定性のない偏ったスコアを生み出します。この制約に対処するため、IGU-LoRAという適応ランクLoRAを導入します。これは (i) 層内の統合勾配（Integrated Gradients、IG）感度を計算し、それらを層レベルのスコアに集約してランク割り当てに用いる、(ii) 偏差追跡を伴う指数移動平均を用いた不確実性を考慮したスキームを適用し、ノイズの多い更新を抑制してランク選択を較正する、という二つの特徴を持ちます。理論的には、パラメータ空間のIGに対する複合台形近似誤差の上限を、経路依存の Hessian-Lipschitz 条件の下で証明し、これが数値積分の予算設定の指針となります。さまざまなタスクとアーキテクチャにおいて、IGU-LoRAは同等のパラメータ予算下で強力なPEFTベースラインを一貫して上回り、下流の精度と堅牢性を向上させます。アブレーション実験は、経路依存の層内感度推定と不確実性を考慮した選択が、効果的なランク割り当てに寄与することを確認します。私たちのコードは https://github.com/withyou12/igulora.git で公開されています。