嗜好（プレファレンス）に整列したLoRAマージ：部分空間のカバレッジを維持し、方向の異方性に対処する

arXiv cs.AI / 2026/3/30

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、複数のLoRAモジュールをマージすることが難しい理由として、それらの更新方向が異なる部分空間を占め、寄与が不均一であることを示している。そのため、素朴なマージは課題にとって重要な方向性を損なったり、タスク間での表現に偏りを生じさせたりしうる。
この問題を、補完的な2つの概念で捉える。すなわち、部分空間カバレッジ（マージ後のLoRA方向が表現上の必要をどれだけうまく覆えているか）と、異方性（方向の影響がどれほど偏って不均衡か）である。
著者らは、TARA-Mergingを提案する。これは、嗜好に重み付けしたクロスエントロピーの疑似損失によりマージ重みを整列（アライン）しつつ、タスクに関連するLoRAの部分空間を明示的に保持する。
8つの視覚ベンチマークおよび6つのNLIベンチマークでの実験により、TARA-MergingはバニラおよびLoRAを考慮したマージのベースラインに対して一貫して優れていることが示され、頑健性と汎化性能の向上が確認される。
結果は、効果的なLoRAマージは、単にモジュールを組み合わせるだけでも、タスク認識を表面的に考慮するだけでもなく、部分空間カバレッジと方向の異方性の両方に対処すべきだと強調している。

要旨: 複数の低ランク適応（LoRA）モジュールを統合することは、汎用的なシステムを構築するうえで有望ですが、LoRAの更新方向が異なる部分空間にまたがり、寄与が不均一であるために困難です。単純に統合すると、このような不一致によって、特定のタスク損失にとって最も重要な方向が弱まる一方で、相対的に重要度の低い方向が過大に強調されてしまい、結果として、すべてのタスクを忠実に表現するモデル能力が低下します。私たちはこの問題を2つの観点から再検討します。すなわち、部分空間のカバー率は、LoRAの方向が多様な表現方向をどれだけ広くカバーしているかを捉えます。また異方性は、それらの方向間における影響の不均衡を反映します。私たちは、タスクに関連するLoRA部分空間を保持しつつ、選好に重み付けした交差エントロピーの擬似損失によって統合重みを整合させるTARA-Merging（Task-Rank Anisotropy Alignment）を提案します。これにより、広い部分空間のカバー率を確保し、方向ごとの再重み付けによって異方性を緩和します。8つの視覚ベンチマークおよび6つのNLIベンチマークにおいて、TARA-Mergingは、バニラおよびLoRAを考慮したベースラインを一貫して上回り、強い頑健性と汎化性能を示します。さらに、LoRA統合において部分空間のカバー率と異方性の両方に対処することの重要性を明らかにします。