データフリー共分散推定によるモデル統合
arXiv cs.LG / 2026/4/3
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、タスク間の干渉を最小化することで定式化した、層ごとの理論的に筋の通ったモデル統合アプローチを提示し、モデル統合をより理論的に根拠づけられた目的へと結び付けることを目指している。
- 各層の共分散行列を推定する際に通常は補助データが必要になるという一般的な制約に対し、「差分行列（difference matrices）」から共分散を推定するデータフリー手法を提案することで解決を図っている。
- 著者らは、新しい共分散推定戦略により外部データの必要性がなくなるだけでなく、従来のデータ依存型の定式化に比べて計算コストも低減できると主張している。
- 86Mから7Bパラメータまでのモデル規模を対象とした、視覚と言語のベンチマークでの実験により、既存のデータフリー最先端のモデル統合手法よりも性能が向上することが示されている。
- 本研究は、データフリーの共分散推定が有効となる条件を明確化することで、干渉最小化フレームワークを再検討し強化し、より実運用しやすい形にしている。
