AeroDeshadow：物理に導かれたシャドウ合成と半影を考慮したデシャドウイングによる航空宇宙画像向け手法

概要: シャドウは高解像度の航空宇宙画像（ASI）に広く見られます。シャドウはしばしばスペクトルの歪みや情報損失を引き起こし、その結果、下流の解釈タスクの性能を低下させます。深層学習による自然画像のシャドウ除去は進展しているものの、ASIへの直接適用には主に2つの課題があります。第一に、厳密に対になった学習データが大きく不足しています。第二に、均質なシャドウという仮定では、航空宇宙シーンに固有の広い半影（ペンブラ）の遷移領域を扱えません。これらの課題に対処するため、物理に基づくシャドウ合成と半影に配慮した復元を統合した統一的な2段階フレームワークであるAeroDeshadowを提案します。第1段階では、物理を意識した劣化シャドウ合成ネットワーク（PDSS-Net）が照明の減衰と空間減衰を明示的にモデル化します。この処理により、大規模な対になったデータセットであるAeroDS-Synが構築され、ソフトな境界遷移を備えます。この物理的な定式化によって制約を受けた上で、第2段階として、半影に配慮したカスケード型デシャドウイングネットワーク（PCDS-Net）が入力をうんば（umbra）と半影（penumbra）の成分にデカップリングします。これらの領域を段階的に復元することで、PCDS-Netは境界アーティファクトや過補正を緩和します。合成データであるAeroDS-Synのみによって学習されたネットワークは、対になった実データの注釈を必要とせずに、現実のASIへと汎化します。実験結果は、AeroDeshadowが合成データおよび現実データの双方において、最先端の定量的精度と視覚的忠実性を達成することを示しています。データセットとコードは次の場所で公開予定です: https://github.com/AeroVILab-AHU/AeroDeshadow。