高解像度化モデルを大規模リモートセンシング画像で評価するための「下流タスク統合」ベンチマーク：Beyond Visual Fidelity

Abstract

超解像（SR）手法は、低解像度入力から高解像度画像を再構成する分野で大きな進展を遂げてきました。解像度の向上は、視覚的な強化と、モニタリング業務における有用性をもたらします。特に、SRは衛星ベースの地球観測向けにますます開発が進められており、都市計画、農業、生態、災害対応などへの応用があります。しかし、既存のSR研究やベンチマークは通常、PSNRやSSIMといった忠実度（fidelity）指標を用いる一方で、超解像画像の真の有用性は、土地被覆の分類、バイオマス推定、変化検出といった下流タスクを支援することにあります。このギャップを埋めるために、本研究では、GeoSR-Benchを導入します。GeoSR-Benchは、忠実度指標を超えてSRモデルを評価するための、下流タスク統合型のSRベンチマークデータセットです。GeoSR-Benchは、約36,000地点における、空間的に近接し、時間的に整合し、さらに品質管理がなされた画像ペアから構成されます。土地被覆の多様性をカバーし、解像度は500mから0.6mまでの範囲に及びます。私たちの知る限り、GeoSR-Benchは、SRモデルによってもたらされる画像解像度の向上を、土地被覆のセグメンテーション、インフラストラクチャのマッピング、生物物理量の推定といった下流の地球モニタリングタスクに直接結びつける、最初のSRベンチマークです。GeoSR-Benchを用いて、GAN、トランスフォーマー、ニューラルオペレーター、拡散ベースのSRモデルを、知覚品質と下流タスクの性能という観点でベンチマークします。合計270の設定で実験を行い、2つのクロスプラットフォームSRタスク、9つのSRモデル、3つの下流タスクモデル、そして各SRタスクに対する5つの下流タスクをカバーします。その結果、従来のSR指標の改善はしばしばタスク性能の向上と相関せず、相関が負になる場合さえあることが分かりました。これは、これらの指標が下流タスク向けに優れたモデルを選定するための限定的な手がかりしか提供しないことを示しています。以上より、下流タスクをSRモデルの開発および評価に統合する必要があることが明らかになります。