SARU:シャドウに配慮し、除去を統合するリモートセンシング画像向けフレームワークと新しいベンチマーク

arXiv cs.CV / 2026/4/29

📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsModels & Research

要点

  • SARUの論文は、リモートセンシング画像における影が下流タスクに与える劣化を、シャドウ検出とシャドウ除去を別々に扱うカスケード手法ではなく統合することで解決しようとしている。
  • SARUは2段階の設計を採用し、デュアルブランチ検出モジュール(DBCSF-Net)が色空間とセマンティック特徴を融合して高精細な影マスクを生成する。
  • 復元では、訓練不要の物理ベース手法(N²SGSR)を用い、隣接する非影領域から単一入力画像内の性質を転写することで照明を回復する。
  • さらに、影検出と単一画像の影除去を評価するための新ベンチマークとして、RSISDとSiSRBの2つを新たに導入している。
  • 実験の結果、SARUはAISDおよび新規ベンチマークの両方で最先端性能を達成し、シャドウ/非シャドウのペア学習データへの依存も回避できることが示された。

Abstract

シャドウはリモートセンシング画像(RSI)において一般的な問題であり、視覚品質を劣化させ、物体検出やセマンティックセグメンテーションといった下流タスクの性能を大幅に制限します。従来の多くの研究では、シャドウの検出と除去を別々のカスケード処理として扱っているため、煩雑な工程や誤差の累積が生じやすくなります。さらに、多くの深層学習手法は、学習のために「シャドウ画像」と「非シャドウ画像」の対となるデータを必要としますが、これは実運用ではしばしば利用できません。これらの課題に対処するため、我々はShadow-Aware and Removal Unified(SARU)フレームワークを提案します。これは、まとまりのある二段階の枠組みです。まず、そのデュアルブランチ検出モジュール(DBCSF-Net)は、多色空間とセマンティック特徴を融合して高精細なシャドウマスクを生成し、暗い物体とシャドウを効果的に区別します。次に、このマスクを活用し、単一入力画像内の隣接する非シャドウ領域から特性を転送することで照明を復元する、新しい学習不要の物理ベースアルゴリズム(N^2SGSR)を用います。厳密な評価を可能にし、今後の研究を促進するために、我々は2つの新しいベンチマークデータセットも導入します。すなわち、RSI Shadow Detection(RSISD)データセットと、Single-image Shadow Removal Benchmark(SiSRB)です。大規模な実験の結果、SARUは公開されているAISDデータセットと、我々が新たに導入したベンチマークの両方において先端の性能を達成することが示されました。シャドウの検出と除去を統合的に行い、誤差伝播を抑えるとともに、対となる学習データへの依存をなくしたことで、SARUは現実世界のRSI解析に対する堅牢で実用的なフレームワークを確立します。ソースコードとデータセットは以下で公開されています:https://github.com/AeroVILab-AHU/SARU-Framework。