Abstract
モデルのマージは、共同のマルチタスク学習なしに、独立して微調整されたチェックポイントを組み合わせます。基盤モデルの時代において、低ランク適応（Low-Rank Adaptation; LoRA）による微調整は一般的であり、LoRAのマージは有望な対象です。既存の手法は、目標タスクがすべて分類であるような同質な設定では機能し得ますが、タスクが分類と回帰にまたがる場合にはしばしば失敗します。エントロピーに基づくサロゲートを用いるアプローチは回帰には適用できず、長いトークン列のために大規模言語モデルでは計算コストが高くなります。私たちは、アダプタの幾何に基づいてマージ重みを設定する、ラベルなしで出力に依存しない手法であるNull-Space Compression（NSC）マージを提案します。重要な観察は、LoRA微調整の間に、Delta W = BA における下投影因子Aがそのヌル空間を圧縮し、その圧縮が性能と相関するという点です。NSCはこの性質を、分類・回帰・シーケンス生成にまたがって汎化できるマージのための最適化シグナルとして利用します。NSCは、従来手法がタスクの一部に過適合することが多い中で、20の異種のビジョンタスクにわたって最先端の性能を、バランスの取れた改善として達成します。また、6つのNLIベンチマークおよびVQAと画像キャプションに関する視覚-言語評価において、ベースラインを上回り、スケーラビリティと有効性を示します。
