S2D: Sparse to Denseリフティングによる最小入力での3D再構成

要旨: 明示的な3D表現はすでに3Dシミュレーションと理解のための重要な媒体となっています。しかし、最も一般的に使用される点群と3D Gaussian Splatting（3DGS）は、それぞれ非フォトリアリスティックなレンダリングと、疎な入力下での大幅な劣化に悩まされます。本論文では、Sparse to Dense lifting（S2D）を導入します。これは二つの表現を結ぶ新しいパイプラインで、最小限の入力で高品質な3DGS再構築を実現します。具体的には、S2Dリフティングは二段階です。まず、疎な点群を高忠実度の画像アーティファクト修正へとリフトする効率的な1ステップ拡散モデルを提示します。同時に、3D整合性のあるシーンを再構成するため、疎な入力ビューから高密度な新規視点へ堅牢に適合するよう、ランダムサンプルドロップと重み付き勾配を用いた対応する再構成戦略を設計します。広範な実験により、S2Dは新規視点ガイダンス生成における最良の一貫性と、さまざまな入力疎性の下でのトップクラスの疎視点再構成品質を達成することが示されました。既存の手法の中で最も少ないキャプチャで安定したシーンを再構成することにより、S2Dは3DGSアプリケーションの最小入力要件を実現します。