カメラビュー選択のためのカバレッジ最適化

Abstract

良い視点とは何でしょうか？3D再構成の学習に用いるデータの質は、効率的かつ正確なシーンモデリングを可能にするために極めて重要です。本研究では、アクティブ視点選択問題を扱い、情報を与えるカメラ姿勢を選択するための、単純で解釈可能な基準を導く、原理に基づいた分析を開発します。私たちの主要な洞察は、情報を与える視点は、フィッシャー情報利得の計算可能な近似を最小化することで得られ、それは、過去のカメラによって十分に観測されていない幾何をカバーする視点を好むことに帰着する、という点です。これにより、透過率推定のような高コストな手続きを回避しつつ、ノイズや学習ダイナミクスに対して頑健な、軽量なカバレッジ（被覆）ベースの視点選択指標が得られます。この指標をCOVER（Camera Optimization for View Exploration and Reconstruction）と呼びます。私たちは提案手法をNerfstudioフレームワークに統合し、固定データ取得シナリオおよび身体化（embodied）データ取得シナリオの下で、実データセット上で評価します。複数のデータセットおよび放射輝度場（radiance-field）のベースラインにわいて、私たちの手法は、最先端のアクティブ視点選択手法と比べて、再構成品質を一貫して改善します。追加の可視化と、私たちのNerfstudioパッケージは https://chengine.github.io/nbv_gym/ にあります。