Sky2Ground: 高度の変動下におけるサイトモデリングのベンチマーク

概要: 私たちは Sky2Ground を導入します。高度の異なるカメラ位置推定、対応づけ学習、および再構成のために設計された三視点データセットです。データセットは構造化された合成画像と野外での実画像を組み合わせ、制御された多視点幾何と現実的なシーンノイズの両方を提供します。全51サイトの各サイトには、衛星画像、空撮画像、地上画像が数千点含まれ、広い高度範囲とほぼ直交する視角を跨いだデータを提供し、グローバルからローカルの文脈にわたる厳密な評価を可能にします。私たちは最先端の姿勢推定モデル（MASt3R、DUSt3R、Map Anything、VGGT を含む）をベンチマークし、衛星画像の使用がしばしば性能を低下させることを観察しました。高度の大きな変動下での課題を浮き彫りにします。私たちはまた再構成手法を検討し、疎な幾何学的オーバーラップ、視点の変化、実画像の使用に起因する課題を浮き彫りにします。これらはノイズを導入し、レンダリング品質を低下させることがしばしばあります。これらの課題の一部に対処するため、SkyNet を提案します。衛星画像を取り入れる際のクロスビューの一貫性を高め、カリキュラムベースの訓練戦略で徐々により多くの衛星ビューを取り入れるモデルです。SkyNet はマルチビューのアライメントを著しく強化し、既存の手法を大幅に上回り、絶対性能として RRA@5 が 9.6%、RTA@5 が 18.1% の改善を達成します。Sky2Ground と SkyNet は、大規模かつ多高度の3D知覚と一般化可能なカメラ位置推定を進展させるための包括的なテストベッドとベースラインを共同で提供します。コードとモデルは今後の研究のために公開されます。