UAVReason: マルチモーダルな空中シーン推論と生成のための統一的で大規模なベンチマーク

Abstract

視覚言語モデル（VLM）は地上視点での視覚理解において目覚ましい能力を示してきましたが、高高度の無人航空機（UAV）に展開するとしばしば破綻します。この失敗の主因は、非常に顕著なドメインシフトであり、微小で密に詰まった物体、反復的なテクスチャ、曖昧な真上（トップダウン）方向の姿勢によって特徴づけられます。これらの要因は、意味的なグラウンディングを深刻に阻害し、空間推論と制御可能な生成の双方を妨げます。この重要なギャップを埋めるために、我々は初めての、真上視点のUAVシナリオに特化した統一的大規模マルチモーダル・ベンチマークであるUAVReasonを提案します。これは、高忠実度なUAVシミュレーション・プラットフォームから導出されています。既存のUAVベンチマークが、主としてサイロ化されており物体検出やセグメンテーションのような単一タスクに焦点を当てているのに対し、UAVReasonは、詳細なキャプションを含む23.6Kの単一フレーム、68.2Kの2フレームの時間的シーケンス、188.8Kのクロスモーダル生成サンプルを含む、273K超のVisual Question Answering（VQA）ペアを唯一統合して提供します。このベンチマークは、空間軸および時間軸にまたがる22種類の多様な推論タイプを探ると同時に、RGB、深度、セグメンテーションというモダリティ間での高忠実度生成も評価します。さらに、マルチタスク学習により強力で統一されたベースラインモデルを確立します。大規模な実験により、VQAに対するEM/F1、セグメンテーションに対するmIoU、生成に対するCLIP Scoreといった多様な指標にわたって、提案する統一アプローチの有効性が検証されます。これらの結果は、汎用ドメインの視覚言語モデルの限界を示すとともに、統一的なマルチタスク学習がUAVネイティブな性能を大幅に向上させることを示しています。すべてのデータ、コード、評価ツールは、UAVマルチモーダル研究を推進するために公開します。