光学–SAR画像からの変化検出に向けた、事前ガイド付きマルチモーダル特徴の融合

概要: 多モーダル変化検出（MMCD）は、多モーダルリモートセンシング（RS）データにおける変化領域を特定し、土地利用モニタリング、災害評価、都市の持続可能な開発において大きな応用価値を示します。しかし、既存の文献におけるMMCD手法には、モーダル間相互作用と、モダリティ固有の特徴の活用に関する限界があります。これにより、きめ細かな変化情報の十分なモデリングができず、その結果、多モーダルデータにおける意味変化の精密な検出が妨げられます。上記の問題に対処するため、私たちは光学画像とSAR画像の間のMMCDのためのフレームワークであるSTSF-Netを提案します。STSF-Netは、モダリティ固有の特徴と時空間共通特徴を共同でモデル化することで、変化表現を強化します。具体的には、モダリティ固有の特徴を活用して真の意味変化の信号を捉え、また、時空間共通特徴を埋め込んで撮像メカニズムの違いに起因する擬似変化を抑制します。さらに、事前学習済みの基盤モデルから得られる意味の事前知識に基づいて特徴の重要度を適応的に調整する、光学特徴とSAR特徴の融合戦略を導入し、マルチモーダル情報の意味誘導型の適応的融合を可能にします。加えて、最初の一般にオープンアクセス可能なマルチクラスMMCDベンチマークであるDelta-SN6データセットを導入します。このデータセットは、超高解像度（VHR）の完全偏波SARと光学画像から構成されます。Delta-SN6、BRIGHT、およびWuhan-Hetデータセットでの実験結果は、提案手法がmIoUにおいてそれぞれ3.21%、1.08%、1.32%の差で、最先端（SOTA）を上回ることを示しています。関連するコードおよびDelta-SN6データセットは、次で公開予定です: https://github.com/liuxuanguang/STSF-Net.