RSRCC：リトリーバル拡張されたBest-of-Nランキングで構築するリモートセンシング地域変化理解ベンチマーク

要旨: 従来の変化検出は変化がどこで起こったかを特定しますが、自然言語として「何が変わったのか」を説明しません。既存のリモートセンシング変化キャプション作成データセットは一般に、画像全体レベルの差分を記述することに留まり、きめ細かな局所的な意味論的推論はほとんど探究されていません。このギャップを埋めるために、我々は126kの質問を含むリモートセンシング変化に関する質問応答の新しいベンチマークであるRSRCCを提示します。質問は87kのトレーニング、17.1kの検証、22kのテスト・インスタンスに分割されています。先行データセットと異なり、RSRCCは、特定の意味の変化について推論することを要求する、局所化された変化に特化した質問を基盤として構築されています。筆者らの知る限り、このようなきめ細かな推論に基づく教師信号のために明示的に設計された、リモートセンシング変化に関する質問応答ベンチマークは初めてです。RSRCCを構築するために、階層的な半教師ありキュレーション（選定）パイプラインを導入します。そこでは、最終的な曖昧さ解消の重要な段階として、Best-of-Nランキングを用います。まず、候補となる変化領域をセマンティックセグメンテーションマスクから抽出し、次に画像-テキストの埋め込みモデルで初期スクリーニングを行い、最後にBest-of-Nランキングを伴う検索拡張型のビジョン-言語キュレーションによって検証します。このプロセスにより、意味的に有意味な変化を保持しつつ、ノイズや曖昧な候補をスケーラブルに絞り込み可能になります。データセットは https://huggingface.co/datasets/google/RSRCC で利用できます。