より良いLoRAマージのための進化的ネガティブモジュール剪定

arXiv cs.AI / 2026/4/21

📰 ニュースModels & Research

共有:

要点

本論文は、複数のLoRAをマージした際に全体性能を下げ得る「ネガティブモジュール」（特定のLoRA層）を特定しています。
そのために、マージ前に有害なLoRAモジュールを除去するプラグアンドプレイ型の剪定手法ENMP（Evolutionary Negative Module Pruning）を提案します。
ENMPは、剪定するモジュール選択が離散的かつ微分不能である点に対応するため、進化的探索戦略を用いて最適な剪定構成を見つけます。
計算実験の結果、ENMPは既存のLoRAマージ手法の性能を一貫して改善し、言語・視覚の両ドメインで新たな最先端（state-of-the-art）を達成したと報告しています。
著者は、ENMP-LoRAMergingとしてコードを公開しており、導入や追試を後押しします。

Abstract

複数の低ランク適応（Low-Rank Adaptation; LoRA）エキスパートを単一のバックボーンに統合することは、効率的なマルチタスク展開に向けた有望なアプローチである。既存の手法は、重みの補間やサブスペースの整合によって干渉を軽減しようと努めているが、それらは、すべてのLoRA行列が統合されたモデルに対して建設的に寄与する、という暗黙の仮定に基づいている。本論文では、現在の統合パラダイムにおける重要なボトルネックを明らかにする。それは、

extit{負のモジュール（negative modules）}

――すなわち、統合すると自動的にグローバル性能を低下させてしまう特定のLoRA層の存在である。我々は、統合の前にこれらの有害なモジュールを特定して除外するための、プラグアンドプレイ型のLoRAプルーニング手法である

extbf{E}

volutionary

extbf{N}

egative

extbf{M}

odule

extbf{P}

runing（

extbf{ENMP}

）を提案する。進化的探索戦略を活用することで、ENMPは、モジュール選択における離散的で微分不可能な探索空間を効果的にナビゲートし、最適なプルーニング構成を見つけ出す。大規模な評価により、ENMPは既存の統合アルゴリズムの性能を一貫して向上させ、言語分野と視覚分野の両方で新たな最先端の水準（state-of-the-art）を達成することが示される。コードは https://github.com/CaoAnda/ENMP-LoRAMerging で公開されている。