Decouple and Rectify：オープンボキャブラリー・リモートセンシング分割に対する意味保存的構造強調

Abstract

遠隔センシング（RS）分野におけるオープン語彙のセマンティックセグメンテーションでは、言語に整合した認識と、きめ細かな空間的輪郭の描定の両方が必要です。CLIPは堅牢なセマンティックな汎化を提供しますが、そのグローバルに整合した視覚表現は本質的に構造的な詳細を捉えるのが難しいという課題があります。近年の手法では、RSで事前学習したDINO特徴を導入することでこの欠点を補おうとしています。しかし、これらの手法はCLIP表現を単一のセマンティック空間として扱うため、構造的な強調が必要な場所を特定することができず、境界を効果的に描定できないだけでなく、CLIPのセマンティック整合性を損なうリスクも伴います。本論文では、この限界に対処するために、DR-Segという新しいデカップル＆リクティファイ（decouple-and-rectify）フレームワークを提案します。提案手法は、CLIPの特徴チャネルが一様なセマンティック空間を形成するのではなく、異なる機能的な不均一性を示すという重要な観察に動機づけられています。この洞察に基づき、DR-SegはCLIPの特徴を、セマンティクス優位のサブスペースと構造優位のサブスペースにデカップルし、言語に整合したセマンティクスを歪めることなく、DINOによって狙いを定めた構造強調を可能にします。その後、事前情報主導のグラフ・リクティファイ（rectification）モジュールが、DINOのガイダンスのもとで高忠実度の構造的プライア（prior）を注入して洗練されたブランチを形成し、さらに、不確実性ガイダンスの適応的融合モジュールが、この洗練されたブランチを元のCLIPブランチと動的に統合して最終予測を行います。8つのベンチマークにわたる包括的な実験により、DR-Segが新たな最先端の状態（state-of-the-art）を確立することを示します。