非定型環境におけるスパースビュー3Dガウシアンスプラッティング

要旨: 本論文では、注意対象を惑わせる要素（ディストラクタ）を含む、制約のない現実世界のシナリオに対して3Dの新しい疎視点合成（sparse-view synthesis）フレームワークを提案する。既存手法が主に、過渡的な要素を含まない制約された画像の疎集合から新規視点合成を行うこと、または制約のない密な画像コレクションを活用して現実世界のシナリオにおける3D表現を強化することのいずれかに重点を置いているのに対し、提案手法は、制約のない疎な画像コレクションを効果的に扱うだけでなく、高品質な3Dレンダリング結果も示す。これを実現するために、過渡マスクと参照画像を用いた拡散モデルによる参照ガイド付き視点洗練（view refinement）を導入し、3D表現を強化するとともに、レンダリングされた視点におけるアーティファクトを低減する。さらに、ガウス場（Gaussian field）における疎な領域に対しては、疑似視点生成を行い、疎性を意識したガウス複製戦略により疎領域でのガウスを増幅する。公開されているデータセットに対する広範な実験により、我々の手法が既存手法を一貫して上回ることを示す（例: PSNR - 17.2%、SSIM - 10.8%、LPIPS - 4.0%）。また、高い忠実度の3Dレンダリング結果を提供する。この進歩により、労力の大きいデータ取得を要さずに、制約のない現実世界のシナリオを実現する道が開ける。プロジェクトページは
\href{https://robotic-vision-lab.github.io/SaveWildGS/}{こちら} である。