局所的な高精度微調整：スペクトルシフトに対する基盤モデルの一般化を強化するデュアルゲート型 Mixture-of-Experts

要旨: スペクトルリモートセンシングにおける Domain Generalization Semantic Segmentation (DGSS) は、多様な取得条件におけるスペクトルシフトにより深刻な課題に直面しており、未知ドメインにデプロイされたモデルの性能が著しく低下します。基盤モデルに対する Parameter-Efficient Fine-Tuning (PEFT) は有望な方向性ですが、既存の手法はグローバルで均一な調整を用いています。この「ワンサイズ・フィット・オール」チューニングは、土地被覆の空間的異質性に対応できず、セマンティックな混乱を招きます。堅牢なDGSSの鍵は、単一のグローバル適応にあるのではなく、基盤モデルの特徴を細粒度で空間的に適応した精緻化を行うことにあると主張します。これを実現するために、DGSSの新規PEFTフレームワークSpectralMoEを提案します。SpectralMoEはMixture-of-Experts (MoE) アーキテクチャを用いて基盤モデルの特徴に局所的かつ精密な改良を行い、スペクトルリモートセンシング画像の選択されたRGBバンドから推定される深度特徴を取り入れて微調整プロセスを導くものです。具体的には、SpectralMoEは二重ゲート付きMoEアーキテクチャを採用し、視覚特徴と深度特徴を独立に上位k個の選択された専門家へルーティングして専門的な改良を行い、モダリティ別の調整を可能にします。その後のクロスアテンション機構が、洗練された構造的手掛かりを視覚ストリームに慎重に統合し、スペクトル変動によって生じるセマンティックな曖昧さを軽減します。広範な実験により、SpectralMoEはハイパースペクトル、マルチスペクトル、RGBリモートセンシング画像の複数のDGSSベンチマークで新たな最先端を確立することを示します。