マルチソースリモートセンシング画像分類のための代表的スペクトル相関ネットワーク

Abstract

ハイパースペクトル画像（HSI）とSAR/LiDARデータは、土地被覆分類において相補的なスペクトル情報と構造情報を提供します。しかし、それらの効果的な融合は、主に2つの制約により依然として困難です。すなわち、高次元HSIにおけるスペクトル冗長性と、多ソースデータ間の不均質な特性です。そこで本研究では、上記の課題に対し、スペクトル選択と適応的な相互作用によって特化的に対処する、新しいマルチソース画像分類フレームワークである代表スペクトル相関ネットワーク（RSCNet）を提案します。本ネットワークは2つの主要コンポーネントを備えています。（1）Key Band Selection Module（KBSM）：クロスソースのガイダンスのもとで、元のHSIからタスクに関連するスペクトル帯を適応的に選択し、冗長性を緩和するとともに、従来のPCAベースのスペクトル次元圧縮に伴う情報損失を軽減します。さらに、学習された帯サブセットは識別力の高いスペクトル構造を示し、識別的なセマンティック手がかりと整合することで、コンパクトでありながら表現力のある表現を促進します。（2）Cross-source Adaptive Fusion Module（CAFM）：クロスソースの注意重み付けと局所-グローバルな文脈的洗練を行い、クロスソース間の特徴相互作用を強化します。3つの公開ベンチマークデータセットでの実験により、提案するRSCNetは、最先端手法と比べて優れた性能を達成しつつ、計算複雑性を大幅に低く保てることを示します。コードは https://github.com/oucailab/RSCNet で公開されています。