忠実度制約付きの実世界向けパンシャープニングに対する高速なモデル誘導インスタンス別適応フレームワーク

要旨: パンシャープニングは、低解像度マルチスペクトル（LRMS）画像と高解像度パン（PAN）画像を融合することで、スペクトル情報と空間情報の両方を保持しつつ、高解像度マルチスペクトル（HRMS）画像を生成することを目的としています。深層学習（DL）に基づくパンシャープニング手法は目覚ましい性能を達成していますが、高い学習コストと大規模なデータセットを必要とし、さらにテスト分布が学習時と異なる場合には劣化することが多く、汎化性が制限されます。近年のゼロショット手法は、単一のPAN/LRMSペアで学習することで強い汎化を実現する一方、融合品質が限定的であること、計算オーバーヘッドが大きいこと、収束が遅いことが課題です。これらの問題に対処するため、実環境のパンシャープニングに向けた、高速かつ汎化可能なモデルガイド付きインスタンス単位適応フレームワークであるFMG-Panを提案します。これにより、センサーをまたぐ汎用性と、迅速な学習・推論の両方を実現します。このフレームワークは、事前学習済みモデルを活用して軽量な適応ネットワークを導き、スペクトル的忠実性と物理的忠実性の制約を組み合わせた共同最適化を通じて学習します。さらに、空間的な詳細の保持を強化するための新しい物理的忠実性項を設計します。実世界のデータセットに対して、同一センサー内およびセンサー間の両設定で行った大規模な実験により、最先端の性能が示されました。WorldView-3データセットでは、FMG-Panは512x512x8の画像についてRTX 3090 GPU上で3秒以内に学習と推論を完了し、既存のゼロショット手法よりも大幅に高速であるため、実運用の展開に適しています。