PanoVGGT: パノラマ画像からのフィードフォワード型3D再構成

要旨：パノラマ画像は360度の視野を提供し、民生機器でますます一般的になっています。しかし、それは非ピンホール歪みを生じさせ、同時に姿勢推定と3D再構成を難しくします。透視カメラ向けに構築された既存のフィードフォワードモデルは、この設定には一般化が乏しいです。私たちはPanoVGGTを提案します。これは、1つまたは複数のパノラマから、1回の順伝搬でカメラの姿勢、深度マップ、そして3D点群を同時に予測する、置換等価なTransformerフレームワークです。モデルは球面対応の位置埋め込みと、パノラマ特有の3軸SO(3)回転増強を組み込み、球面領域での幾何推論を効果的に可能にします。固有のグローバルフレームの曖昧さを解消するため、学習時に確率的なアンカリング戦略を導入します。さらに、密な深度情報と6自由度姿勢アノテーションを備えた大規模な屋外パノラマデータセットPanoCityを提供します。PanoCityおよび標準ベンチマークでの広範な実験により、PanoVGGTは競争力のある精度と高い堅牢性、そしてドメイン間一般化の改善を達成することが示されました。コードとデータセットは公開される予定です。