FTPFusion: 時間的摂動を伴う周波数対応赤外・可視ビデオ融合
arXiv cs.CV / 2026/4/3
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- FTPFusionは、赤外と可視のビデオを融合するための周波数対応（frequency-aware）手法であり、既存手法ではしばしば相反する空間的な詳細性と時間的な安定性の両方を改善することを目的としています。
- 本モデルは特徴を高周波成分と低周波成分に分解し、高周波の動き／補完的な詳細に対してはスパースなクロスモーダルの時空間相互作用を用い、フリッカー、ジッタ、位置ずれに対する頑健性のために時間的摂動（temporal perturbation）戦略を用います。
- FTPFusionは、時間的な擾乱が発生した際にフレーム間の表現を明示的に安定化する、オフセット対応の時間的一貫性制約を導入します。
- 複数の公開ベンチマークでの実験により、FTPFusionは空間的な忠実性および時間的一貫性をカバーする指標において、最先端の融合手法よりも優れていることが示されています。
- 著者らは、ソースコードをGitHubで公開する予定であると述べており、さらなる再現性の検証や下流研究での利用が可能になります。
