WeatherRemover：マルチスケール特徴マップ圧縮によるオールインワンの悪天候除去

要旨: 悪天候下で撮影された写真は、雨・雪・霧による干渉のために、ぼけ、遮 occlusion（隠れ）、および低輝度の問題をしばしば抱えます。これらの問題は、その後のコンピュータビジョンタスクの性能を大きく妨げる可能性があり、気象効果を除去することは画像強調における重要なステップとなります。既存の手法は主に特定の気象条件を対象としており、複数の気象シナリオに対応できるものはごくわずかです。しかし主流のアプローチでは、性能面の考慮が見落とされがちで、その結果として大きなパラメータサイズ、長い推論時間、高いメモリコストにつながっています。本研究では、性能のバランスを取りながら、さまざまな気象条件によって劣化した画像の復元を強化することを目的としたWeatherRemoverモデルを提案します。私たちのモデルは、ゲーティング機構とマルチスケール・ピラミッドビジョンTransformerを備えたUNetライクな構造を採用しています。特徴抽出を最適化するために、畳み込みニューラルネットワークから導出したチャネルごとの注意（channel-wise attention）を用い、一方で線形空間削減により注意機構の計算負荷を抑えます。フィードフォワード段階およびダウンサンプリング段階の中に戦略的に配置されたゲーティング機構は、冗長性を選択的に扱い、その学習への影響を緩和することで、情報処理を洗練します。このアプローチにより、重要なデータの適応的な選択が可能となり、優れた復元性能と効率の最大化を実現します。さらに、軽量な当モデルは、復元品質、パラメータ効率、計算オーバーヘッド、メモリ使用量の最適なバランスを達成しており、他の複数気象対応モデルと区別されます。これにより、実運用上の要求を効果的に満たします。ソースコードは https://github.com/RICKand-MORTY/WeatherRemover で公開されています。