PivotMerge：ポストアライメントによるモデルマージで不均一なマルチモーダル事前学習を橋渡しする
arXiv cs.CV / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、微調整後のマージに限らず「ポストアライメント」段階でマルチモーダルLLMの統合を行うことで、不均一なマルチモーダル事前学習を橋渡しする PivotMerge を提案する。
- マルチモーダル事前学習の本質を、画像と言語表現を単一の意味空間に結び付けるクロスモーダル・アライメント構築の問題だと位置づけ、その考えに基づいてポストアライメント・マージ課題を導入している。
- PivotMerge は、異なるデータ分布で学習された更新がマージ時に衝突する「クロスドメインのパラメータ干渉」と、層やプロジェクタによってクロスモーダル・アライメントへの寄与が偏る「層ごとの寄与格差」の2つの課題に対処する。
- 共有空間分解とフィルタリングにより、共有されるアライメントパターンとドメイン固有の差異を切り分け、衝突する方向を抑制する。
- CC12M ベースのポストアライメント統合シナリオおよび複数のマルチモーダル・ベンチマークでの実験により、PivotMerge が既存ベースラインを一貫して上回り、性能と一般化能力の高さを示した。
