ポーズ事前知識と幾何的不確実性を踏まえた3D Gaussian Splattingにおけるポーズリファインメントの再考

要旨: 3D Gaussian Splatting (3DGS) は最近、強力なシーン表現として浮上し、視覚的定位とポーズの改善においてますます利用されています。しかし、高品質な微分可能レンダリングにもかかわらず、3DGS に基づくポーズの改善の頑健性は、初期のカメラ姿勢と再構築された幾何形状の両方に対して依然として高い感度を示します。本研究では、これらの制約を詳しく検討し、不確実性の2つの主要な源を特定します：(i) ポーズ事前不確実性、これはしばしば回帰モデルや検索モデルが単一の決定論的推定を出力することから生じます、そして (ii) 幾何的不確実性、3DGS の再構築の欠陥が PnP ソルバーへ誤差を波及させることによって生じます。このような不確実性は再投影幾何を歪め、最適化を不安定化させる可能性があり、たとえレンダリングされた外観が依然としてもっともらしく見える場合でも生じます。これらの不確実性に対処するために、モンテカルロ姿勢サンプリングとフィッシャー情報に基づく PnP 最適化を組み合わせた再局在化フレームワークを導入します。提案手法はポーズと幾何的不確実性の両方を明示的に考慮し、再訓練や追加の監督を必要としません。多様な室内外のベンチマークにおいて、私たちのアプローチは位置推定の精度を一貫して向上させ、ポーズと深度ノイズ下での安定性を大幅に高めます。