SyMTRS：航空画像における深度、ドメイン適応、超解像のためのマルチタスク合成データセットベンチマーク

概要: 遠隔センシングにおける深層学習の最近の進歩は、大規模な注釈付きデータセットに大きく依存していますが、幾何学・放射（放射計測）学・マルチドメインのタスクに対する高品質な正解（グラウンドトゥルース）を取得することはコストが高く、しばしば実行不可能です。特に、正確な深度アノテーション、制御された照明の変動、マルチスケールの対応画像が欠けていることにより、単眼深度推定、ドメイン適応、および航空（空撮）シーンにおける超解像の進展が制限されています。私たちは高忠実度な都市シミュレーションのパイプラインを用いて生成した大規模合成データセットであるSyMTRSを提案します。このデータセットは、高解像度のRGB航空画像（2048×2048）、ピクセル単位で正確な深度マップ、ドメイン適応のための夜間対応画像、および超解像のためにx2、x4、x8スケールでアラインされた低解像度バリアントを提供します。単一のタスクやモダリティに焦点を当てた既存の遠隔センシング用データセットとは異なり、SyMTRSは、幾何学的理解、ドメイン間の頑健性、解像度向上に関する共同研究を可能にする統一型マルチタスクベンチマークとして設計されています。データセット生成のプロセス、その統計的特性、および既存ベンチマークに対する位置づけについて説明します。SyMTRSは、完全な幾何学的グラウンドトゥルースと一貫したマルチドメインの監督を用いた制御された実験を可能にすることで、遠隔センシング研究における重要なギャップを埋めることを目指します。本研究で得られた結果は、次のGithubリポジトリから再現できます: https://github.com/safouaneelg/SyMTRS。