不均衡なテクスチャに対する遠隔センシング画像の超解像：テクスチャ認識拡散フレームワーク

Abstract

生成的拡散事前学習（generative diffusion priors）は、自然画像の超解像において最近最先端の性能を達成し、フォトリアルな詳細を合成する強力な能力を示している。しかし、それらをリモートセンシング画像超解像（RSISR）に直接適用すると、重大な欠点が明らかになる。自然画像とは異なり、リモートセンシング画像は、地物が大域的には確率的（stochastic）である一方、局所的にはクラスタ化されるという独自のテクスチャ分布を持ち、その結果、非常に不均衡なテクスチャとなる。この不均衡はモデルの空間認識を強く阻害する。これに対処するために、我々はTexADiffという新しい枠組みを提案する。TexADiffは、まずテクスチャ分布を表す相対テクスチャ密度マップ（Relative Texture Density Map: RTDM）を推定することから始まる。その後、TexADiffはこのRTDMを3つの相乗的な方法で活用する。すなわち、拡散プロセスを導くための明示的な空間的条件として、テクスチャ豊富な領域を優先する損失モジュレーション項として、そしてサンプリングスケジュールのための動的アダプタとして用いる。これらの改良は、モデルに明示的なテクスチャ認識能力を付与することを目的としている。実験の結果、TexADiffは優れた、あるいは競争力のある定量指標を達成する。さらに、定性的な結果から、我々のモデルはテクスチャの幻覚を効果的に抑制しつつ、忠実な高周波の詳細を生成できることが示される。この改良された再構成品質は、下流タスクの性能にも大きな向上をもたらす。我々の手法のソースコードは https://github.com/ZezFuture/TexAdiff にて入手できる。