リモートセンシング画像キャプションをメトリックのバイアスを超えて評価する

概要: 画像キャプション付けの中核的な目的は、視覚信号からテキストのモダリティへと、損失のない意味論的圧縮を実現することです。しかし、評価のために手作業で精選された参照テキストに依存していることは、本質的にモデルに対して特定の人間の注釈スタイルを模倣させることを強制し、それによって高度な基盤モデルの真の記述能力が隠れてしまいます。このような体系的なミスマッチは、重大な問いを引き起こします。リモートセンシング画像キャプション付け（RSIC）において、課題固有のファインチューニングは本当に必要なのでしょうか、それとも、認識されている性能ギャップは単に欠陥のある評価基準の産物にすぎないのでしょうか。 この不一致を調査するために、私たちは新しい参照不要の評価指標である ReconScore を提案します。テキスト間の類似性を計算するのではなく、生成されたテキストのみから元の視覚要素を再構築できる能力によってキャプションの質を評価し、人間の注釈バイアスを実質的に中和します。 この指標を適用することで、深く直感に反する真実を明らかにします。固有に強力でファインチューニングされていない MLLM は、真正のゼロショット RSIC タスクにおいて、ファインチューニング済みの対応物を上回るのです。 この構造的発見に基づき、私たちはトレーニング不要の生成手法である RemoteDescriber を導入します。ReconScore を自己修正メカニズムとして用いることで、計算量の高いファインチューニングのオーバーヘッドなしに、反復的に MLLM 出力の意味的な精度を洗練させます。 広範な実験により、RemoteDescriber が3つのデータセットにおいて最新（最先端）の性能を達成することを示します。さらに、ReconScore の信頼性を検証し、従来の指標の欠陥を分析します。 私たちのコードは https://github.com/hhu-czy/RemoteDescriber で公開しています。