SSFT：汎用ハイパースペクトル分類のための軽量スペクトル・空間フュージョン・トランスフォーマー

Abstract

ハイパースペクトル画像化は、豊かなスペクトル特性を取得することで、物質のきめ細かな認識を可能にしますが、高次元性、スペクトル冗長性、限られたラベル付きデータ、強いドメインシフトのために、頑健な分類器を学習することは困難です。地球観測を超えて、ラベル付きHSIデータはしばしば乏しく、かつ不均衡であるため、取得レジームが多様な状況における汎用的なハイパースペクトル分類のためのコンパクトモデルが求められます。私たちは、軽量なスペクトル・空間フュージョン・トランスフォーマ（Spectral-Spatial Fusion Transformer; SSFT）を提案します。この手法は表現学習をスペクトル経路と空間経路に分解し、クロスアテンションによってそれらを統合して、相補的な波長依存情報と構造情報を捉えます。私たちは、地球観測、果実の状態評価、きめ細かな物質認識を含む、異種マルチデータセットのベンチマークである困難なHSI-BenchmarkでSSFTを評価します。SSFTは最先端の総合性能を達成し、先行する主要手法よりも2%未満のパラメータ数でありながら1位にランキングされます。さらに、公式プロトコルに基づいて、実質的に規模が大きいSpectralEarthベンチマークへの転移も評価します。SSFTは、そのコンパクトさにもかかわらず、競争力を維持しています。アブレーション研究により、スペクトル経路と空間経路の両方が重要であり、寄与が最も大きいのは空間モデリングであること、またデータ拡張なしでもSSFTが頑健であることが示されます。