ハイパースペクトル基盤モデルのドメイン間転移（Cross-Domain Transfer）

要旨: ハイパースペクトル画像（HSI）のセマンティックセグメンテーションは通常、同一領域での学習に依存しますが、データ利用可能性が限られることが多いため、実世界のアプリケーションにおけるモデル性能が制約されることがあります。近接センシングにおいて基盤モデルを活用するための現在のアプローチでは、RGBとHSIの間をつなぐことで視覚基盤モデルを活用する、クロスモダリティ技術が用いられます。しかし、これらの手法は、いずれかのスペクトル情報を捨ててしまうか、あるいはアーキテクチャの複雑さを導入します。本研究では代替として、リモートセンシングで学習されたHSI基盤モデルを近接センシング用途に再利用する「クロスドメイン転移」を提案します。モダリティ間ギャップを埋める必要をなくすことで、当社の手法は単純なアーキテクチャを維持しながら、スペクトル情報を保持します。HS3-Benchベンチマークを用いて、従来の同一領域・同一モダリティでの学習、クロスモダリティ転移、クロスドメイン転移の戦略を体系的に評価し、比較します。結果は、クロスドメイン転移が同一領域・同一モダリティでの学習に対して大きな性能向上を達成し、クロスモダリティ手法との性能ギャップを縮小し、さらにデータが限られた状況でも強い性能を維持することを示しています。したがって、本研究は多様なアプリケーションにおける、より効果的なHSIセマンティックセグメンテーションを前進させるものです。