濃度分割と画像融合による多分岐・非一様画像デヘイジング

Abstract

既存の単一画像霧除去手法は、均一な薄霧画像に対しては満足のいく性能を示してきました。しかしながら、それらは空間的に変化する霧濃度や、異なる領域間での密度遷移が急である非均一な霧画像に対してはしばしば苦戦します。この根本的な制約に対処するために、我々は Concentration Partitioning and Image Fusion Network (CPIFNet) と称する新しいマルチブランチ深層ニューラルネットワークの枠組みを提案します。CPIFNet は、困難な非均一霧除去問題を、取り組みやすい一連の均一なサブ問題へと分解します。我々の主要な着想は、単一の非均一な霧画像は、複数の局所領域の合成として捉えられるという点です。各局所領域は、概ね均一な霧の特性を示します。CPIFNet は、画像強調ネットワーク (IENet) ステージと画像融合ネットワーク (IFNet) ステージの 2 段階アーキテクチャで構成されます。第1段階では、異なる濃度レベルの均一霧データセットに対して、複数の IENet ブランチをそれぞれ独立に学習させます。これにより、それぞれの霧濃度に対応する領域の復元に優れた強調モデルが得られます。第2段階では、IFNet が深い特徴のスタッキングとマージを通じて、全ての強調出力から有利な領域を賢く集約し、統一された高品質な霧除去結果を生成します。さらに、再構成損失、知覚損失、構造損失、色損失を組み込んだ包括的な損失関数を導入し、両ステージを共同で教師あり学習できるようにします。