EPOFusion: 露出を意識した赤外・可視画像融合の漸進的最適化法

要約:
現場の実務的な状況では過露出が頻繁に発生し、重要な視覚情報が失われることがあります。しかし、既存の赤外線と可視光の融合法は、非常に明るい領域で依然として満足のいく性能を示していません。これに対処するため、露出を意識した融合モデルである EPOFusion を提案します。具体的には、過露出領域から細粒度の赤外特徴を抽出するためにエンコーダを補助するガイダンスモジュールを導入します。 一方、マルチスケールのコンテキスト融合モジュールを組み込んだ反復デコーダを設計し、融合画像を段階的に強化して、細部の一貫性と優れた視覚品質を確保します。最後に、適応的な損失関数が融合プロセスを動的に制約し、異なる露出条件下でモダリティ間の効果的なバランスを実現します。 より良い露出認識を実現するために、過露出領域に対する高品質な赤外ガイド付きアノテーションを備えた初の赤外と可視の過露出データセット（IVOE）を構築します。 広範な実験の結果、EPOFusion が従来の手法を上回ることが示されています。 過露出領域では赤外の手掛かりを保持し、過露出していない領域では視覚的に忠実な融合を達成することで、視覚的忠実度と下流タスクの性能の双方を向上させます。 コード、融合結果および IVOE データセットは https://github.com/warren-wzw/EPOFusion.git で公開される予定です。