ZeD-MAP：リアルタイム航空撮影のためのバンドル調整に導かれるゼロショット深度マップの構築

Abstract

超高解像度UAV画像からのリアルタイム深度再構成は、災害対応のような時間制約のある地理空間タスクに不可欠である一方、広い基線パララックス、大きな画像サイズ、低テクスチャまたは鏡面の表面、遮蔽、そして厳しい計算制約のために依然として困難である。近年のゼロショット拡散モデルは、タスク固有の再学習なしに、画像ごとの高速な高密度推定を提供し、さらにトランスフォーマーベースの予測器よりも少ないラベル付きデータセットで済むとともに、従来のマルチビューステレオに必須だった厳格な撮像幾何の要件を回避できる。しかし、それらの確率的推論は、連続フレームや重なり合うタイル間での信頼できるメートル精度と時間的整合性を妨げる。そこで我々は、テスト時の拡散深度モデルを、増分のクラスタベースバンドル調整（BA）を統合することで、メートル一貫性のあるSLAMのようなマッピングパイプラインへ変換するクラスターレベルの枠組みZeD-MAPを提案する。ストリーミングされたUAVフレームは重なりを持つクラスタにまとめられ、定期的なBAによってメートル一貫性のあるポーズと疎な3Dタイポイントが生成される。これらは選択されたフレームに再投影され、拡散ベースの深度推定のためのメートル誘導（ガイダンス）として用いられる。高度約50 mで取得した地上マーカー付きフライト（GSDは約0.85 cm/px、1フレームあたりの地上被覆面積は約2,650平方メートル）において、DLRモジュラー航空カメラシステム（MACS）を用いて検証したところ、本手法はサブメートル精度を達成し、水平方向（XY）で約0.87 mの誤差、鉛直方向（Z）で0.12 mの誤差となり、かつ1画像あたりの実行時間は1.47〜4.91秒の範囲を維持できた。結果は、手動の点群アノテーションに起因する軽微なノイズの影響を受ける。これらの結果は、BAベースのメートル誘導が、古典的な写真測量手法に匹敵する整合性を提供しつつ、処理を大幅に高速化し、リアルタイムな3Dマップ生成を可能にすることを示している。