Abstract
シャドウはリモートセンシング画像(RSI)において一般的な問題であり、視覚品質を劣化させ、物体検出やセマンティックセグメンテーションといった下流タスクの性能を大幅に制限します。従来の多くの研究では、シャドウの検出と除去を別々のカスケード処理として扱っているため、煩雑な工程や誤差の累積が生じやすくなります。さらに、多くの深層学習手法は、学習のために「シャドウ画像」と「非シャドウ画像」の対となるデータを必要としますが、これは実運用ではしばしば利用できません。これらの課題に対処するため、我々はShadow-Aware and Removal Unified(SARU)フレームワークを提案します。これは、まとまりのある二段階の枠組みです。まず、そのデュアルブランチ検出モジュール(DBCSF-Net)は、多色空間とセマンティック特徴を融合して高精細なシャドウマスクを生成し、暗い物体とシャドウを効果的に区別します。次に、このマスクを活用し、単一入力画像内の隣接する非シャドウ領域から特性を転送することで照明を復元する、新しい学習不要の物理ベースアルゴリズム(N^2SGSR)を用います。厳密な評価を可能にし、今後の研究を促進するために、我々は2つの新しいベンチマークデータセットも導入します。すなわち、RSI Shadow Detection(RSISD)データセットと、Single-image Shadow Removal Benchmark(SiSRB)です。大規模な実験の結果、SARUは公開されているAISDデータセットと、我々が新たに導入したベンチマークの両方において先端の性能を達成することが示されました。シャドウの検出と除去を統合的に行い、誤差伝播を抑えるとともに、対となる学習データへの依存をなくしたことで、SARUは現実世界のRSI解析に対する堅牢で実用的なフレームワークを確立します。ソースコードとデータセットは以下で公開されています:https://github.com/AeroVILab-AHU/SARU-Framework。