勾配整合に基づく交互学習による調和的タブラー画像融合
arXiv cs.CV / 2026/4/3
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、マルチモーダルなタブラー画像融合を対象とし、既存手法が最適化中にモダリティ間で生じる勾配の競合によって阻害され得ると主張する。
- 共有分類器を用いた、勾配整合に基づく交互学習（Gradient-Aligned Alternating Learning: GAAL）という学習パラダイムを提案し、単一モダリティの学習と共有分類器による学習を交互に行うことで、マルチモーダルの勾配をより適切に切り分け、協調させる。
- さらにGAALは、不確実性に基づくクロスモーダル勾配サージェリー（gradient surgery）を用いて、異なるモダリティからの勾配を選択的に整合させる。これにより、共有パラメータを全モダリティにとって有益となる方向へ導くことを狙う。
- 一般的なベンチマークデータセットでの実験では、複数の最先端ベースラインと比較して、融合性能の向上が報告されている。さらに、テスト時にタブラー情報が欠落するシナリオとの比較も行っている。
- 著者らは、再現やさらなる実験を支援するために、公開されたソースコードを提供している。
