統一型画像復元のための劣化対応型アダプティブ・コンテキスト・ゲーティング

Abstract

単一のモデルによる統一的な画像復元は、劣化が多様であることに起因してタスク干渉に直面することが多いです。これに対処するため、劣化特性を明示的に知覚し、特徴表現を動的に調整できるようにするDACG-IR（Degradation-Aware Adaptive Context Gating）を提案します。本手法では、入力から劣化に対して意識した文脈表現を構築し、それによって注意配分、周波数領域の特徴、特徴の集約を調整します。具体的には、軽量なマルチスケールの劣化認識モジュールが粗い劣化情報を抽出し、層ごとのプロンプトを生成します。これらのプロンプトは、エンコーダ部およびデコーダ部のブロックにおける注意温度と出力ゲーティングを導き、適応的な特徴抽出を行わせます。さらに、空間チャネルのデュアルゲートによる適応融合機構が、エンコーダの特徴を洗練し、浅い層から深い層へのノイズ伝播を抑制します。この設計により、劣化に起因するノイズを効果的に抑えつつ、有益な構造を保持できます。実験の結果、DACG-IRは、単一タスク、オールインワン、逆境気象（悪天候）除去、および複合劣化の設定において、最先端手法よりも優れた性能を示します。Code: https://github.com/HlHomes/DACG-IR-code