Think and Answer ME: リモートセンシングにおけるマルチエンティティ推論グラウンディングのベンチマークと探索

要旨: 推論言語モデルと検証可能な報酬を伴う強化学習の最近の進展は、マルチステップ推論能力を大幅に向上させています。この進展は、推論パラダイムをリモートセンシングの視覚的グラウンディングタスクへ拡張する動機となります。しかし、既存のリモートセンシング・グラウンディング手法は主に認識レベルのマッチングと単一エンティティの定式化に留まり、明示的な推論とエンティティ間モデリングの役割を制限しています。この課題に対処するために、リモートセンシングにおけるマルチエンティティ推論グラウンディングの新しいベンチマークデータセット（ME-RSRG）を紹介します。ME-RSRGを基盤として、リモートセンシング・グラウンディングをマルチエンティティ推論タスクとして再定式化し、視覚-言語基盤モデルに基づくエンティティ対応推論（EAR）フレームワークを提案します。EARは構造化された推論トレースと主語-目的語のグラウンディング出力を生成します。コールドスタート初期化のための教師ありファインチューニングを採用し、エンティティ対応報酬駆動のグループ相対ポリシー最適化（GRPO）によってさらに最適化されます。ME-RSRGにおける大規模な実験は、マルチエンティティ推論の課題を示し、提案したEARフレームワークの有効性を検証します。我々のデータセット、コード、およびモデルは https://github.com/CV-ShuchangLyu/ME-RSRG で公開されます。