MAVFusion：モーションを考慮したスパース・インタラクションによる赤外線・可視映像の効率的なフュージョン
arXiv cs.CV / 2026/4/3
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- MAVFusionは、従来の静的画像フュージョン手法が苦手としていたフレーム間のモーション処理の難しさに対処する、赤外線／可視映像フュージョンのエンドツーエンド・フレームワークである。
- 光フローを用いて動的領域を検出し、その後、計算コストの高いクロスモーダル注意機構をモーションに関連するこれらのスパースな領域のみに適用することで、効率を向上させつつ重要な遷移を保持する。
- 静的背景領域に対しては、軽量な弱インタラクション・モジュールに切り替え、時間を通じた構造と外観の一貫性を維持する。
- 提案手法は動的処理と静的処理を分離することで、時間的整合性ときめ細かなフュージョンの両方を改善しつつ、大幅に推論を高速化する。
- 実験では、複数の赤外線／可視映像ベンチマークで最先端の結果が報告されており、640×480解像度で14.16 FPSのスループットを達成している。コードはGitHubで公開予定である。
