衛星画像におけるニュース・イベントの検出と記述のためのマルチエージェント・フィードバック・システム

要旨: 衛星画像の変化は、多くの場合複数の時間ステップにわたって生じます。双時点（bi-temporal）の変化キャプション付けデータセットの登場にもかかわらず、リモートセンシング分野では、（少なくとも2枚の画像を1つのシーケンスとして含む）多時点イベントのキャプション付けデータセットが不足しています。このギャップが生じているのは、(1) 衛星画像内で目に見える出来事を検索すること、そして (2) 多時点シーケンスに対してラベル付けを行うこと、いずれも多大な時間と労力を要するためです。これらの課題に対処するために、我々は SkyScraper を提案します。SkyScraper は、ニュース記事を地理座標に紐づけ（geocode）し、対応する衛星画像シーケンスに対するキャプションを合成する反復的なマルチエージェントのワークフローです。我々の実験結果は、SkyScraper が従来の地理座標推定（geocoding）手法よりも 5 倍多くの出来事を見つけることを示しており、エージェントによるフィードバックが、衛星画像における新しい多時点イベントを顕在化させる効果的な戦略であることを裏付けています。さらに、我々は本フレームワークを、世界の膨大なニュース記事データベースに適用し、5,000 シーケンスからなる新しい多時点キャプション付けデータセットを構築しました。ニュース上の出来事に関連する画像を自動的に特定することで、本研究はジャーナリズムや報道の取り組みも支援します。