VGGT-360: 幾何学的一貫性を保つゼロショット・パノラマ深度推定

概要: 本論文は、VGGT-360 を提案します。ゼロショットで幾何学的一貫性を保つパノラマ深度推定のための訓練不要な新規フレームワークです。
従来の視点非依存の訓練不要手法とは異なり、VGGT-360 は、VGGT 類の基盤モデルの内部的な3D一貫性を活用することで、タスクをマルチビュー再構成された3Dモデル上のパノラマ再投影として再定式化し、断片化された各ビューの推論を統一されたパノラマ理解へと結びつけます。
頑健で正確な推定を達成するため、VGGT-360 は、統一されたパノラマ→3D→深度のフレームワークを形成する3つのプラグアンドプレイモジュールを統合します：
(i) 不確実性ガイド付きの適応的な投影により、パノラマを透視ビューへと切り分け、パノラマ入力とVGGTの透視事前情報の間のドメインギャップを埋めます。勾配ベースの不確実性を推定し、幾何学的に乏しい領域により密なビューを割り当てることで、VGGT にとって幾何学情報豊富な入力をもたらします。
(ii) 構造・顕著性を強化した注意は、3D再構築時の VGGT の頑健性を高め、構造を意識した自信度をその注意層に注入することで、幾何学的に信頼できる領域へ焦点を導き、ビュー間の一貫性を高めます。
(iii) 相関重み付けによる3Dモデル補正は、注意から推定された相関スコアに基づいて重複する点の重みを再調整し、正確なパノラマ再投影のための一貫した幾何学的基盤を提供します。
広範な実験により、VGGT-360 は訓練済みおよび訓練不要の最先端手法の両方を、複数の解像度と多様な室内・屋外データセットにおいて上回ることを示しています。
返却形式: {"translated": "翻訳されたHTML"}