現実的なオープンボキャブラリー遠隔検知セグメンテーションに向けて：ベンチマークとベースライン

Abstract

オープンボキャブラリーリモートセンシング画像セグメンテーション（OVRSIS）は、断片化したデータセット、限られた学習の多様性、そして現実的な地理空間アプリケーションの要求を反映する評価ベンチマークの欠如により、十分に研究されていません。私たちの先行研究である extit{OVRSISBenchV1} は、初期のデータセット横断評価プロトコルを確立しましたが、その範囲の限界は、現実のオープンワールドにおける一般化を評価するには不十分です。そこで本研究では、この課題に対処するために extit{OVRSISBenchV2} を提案します。これは、OVRSIS 向けの大規模かつアプリケーション志向のベンチマークです。まず、 extbf{OVRSIS95K} を構築します。これは、多様なリモートセンシングのシーンにまたがる 35 の一般的な意味カテゴリを対象として、約 95K の画像--マスクペアからなるバランスの取れたデータセットです。OVRSIS95K と 10 の下流データセットに基づいて、OVRSISBenchV2 は 170K の画像と 128 のカテゴリを含み、シーンの多様性、意味のカバレッジ、そして評価の難易度を大幅に拡張します。通常のオープンボキャブラリーセグメンテーションに加えて、さらに建物抽出、道路抽出、洪水検出のための下流プロトコルを含めることで、現実的な地理空間アプリケーションの要求や複雑なデプロイ状況をよりよく反映します。また、OVRSIS のためのベースラインとして extbf{Pi-Seg} を提案します。Pi-Seg は、 extbf{positive-incentive noise}（正のインセンティブノイズ）メカニズムを通じて転移性を向上させます。ここでは、学習可能で意味に導かれた摂動により、学習中に視覚--テキスト特徴空間が拡張されます。OVRSISBenchV1、OVRSISBenchV2、および下流タスクに関する広範な実験の結果、Pi-Seg は強力で一貫した性能を示し、特により難易度の高い OVRSISBenchV2 ベンチマークで顕著です。本研究の結果は、現実的なベンチマーク設計の重要性と、摂動に基づく転移の有効性の両方を示しています。コードとデータセットは \\href{https://github.com/LiBingyu01/RSKT-Seg/tree/Pi-Seg}{LiBingyu01/RSKT-Seg/tree/Pi-Seg} にて公開されています。