言語プロンプトによるオールインワンのマルチモーダルリモートセンシング画像修復・フュージョンのための統一基盤モデル

要旨: リモートセンシング画像は、雲、かすみ、ノイズ、解像度の制限、そしてセンサーの異質性によって影響を受けます。既存の修復および融合手法では、劣化タイプごとに別々のモデルを学習します。本研究では、多モーダルかつマルチタスクのリモートセンシング低レベル視覚に対する最初の統一基盤モデルである、言語条件付き大規模リモートセンシング修復モデル（LLaRS）を提案します。LLaRSは、Sinkhorn-Knoppの最適輸送を用いて、異質なバンドを意味的に整合したスロットへと対応付け、特徴を3つの相補的な混合専門家（Mixture-of-Experts）層（空間パターンのための畳み込み専門家、スペクトルの忠実性のためのチャネル混合専門家、そしてグローバルな文脈のための低ランクアダプタを備えた注意専門家）を通して経路付けし、ステップ単位の動的な重み調整によって共同学習を安定化します。LLaRSを学習するために、11の修復および強調（enhancement）タスクにまたがる、ミリオンスケールのマルチタスクデータセットであるLLaRS1Mを構築します。これには、多様な自然言語プロンプトとともに、実ペア観測と制御された合成劣化を統合しています。実験の結果、LLaRSは一貫して7つの競合モデルを上回り、パラメータ効率の高いファインチューニング実験では、未見データに対する強力な転移能力と適応の効率性が示されます。リポジトリ: https://github.com/yc-cui/LLaRS