新規視点合成のためのカメラポーズ推定戦略：効率性と有効性を両立するベンチマーク

Abstract

NeRF や 3DGS のような新規視点合成（NVS）アプローチは、既知の外部・内部パラメータを持つ一連の画像から、写真のように写実的な 3D シーン表現を生成できます。必要なカメラ姿勢とキャリブレーションは通常、Structure-from-Motion（SfM）によって画像から得られます。従来の SfM 手法は、画像間の局所特徴マッチングに依存して、姿勢とシーンの疎な 3D モデルの両方を推定し、バンドル調整（bundle adjustment）によって初期の姿勢・内部パラメータ・幾何学の推定値を洗練（リファイン）します。実行時間の効率を高めるために、近年の SfM システムではバンドル調整による最適化を行わないことが増えています。その代わりに、フィードフォワード（トランスフォーマー系）ニューラルネットワークを訓練し、カメラパラメータと 3D 構造を直接回帰します。計算効率は桁違いに向上する一方で、これらの最近の研究では推定精度が大幅に低下します。効率的である \emph{かつ} 効果的である SfM アプローチの開発に向けた研究を促進するため、本論文では、新規視点合成のための SfM に焦点を当てたベンチマークを構築します。既存データセットと、再構成プロセスをより効率化するための 2 つの単純な戦略を用いて、次のことを示します： (1) 特徴量を単に減らすだけで、ポーズ精度を高く保ったまま、従来型の SfM 手法の速度がすでに大幅に向上する。 (2) フィードフォワードネットワークで初期推定を得て、それを従来型の SfM 技術で洗練することで、最良の「効率と有効性」のトレードオフが得られる。我々は、このベンチマークとコードを公開します。