GaussFusion：ジオメトリに情報を与えた動画生成で、野外での3D再構成を改善する

要旨: 本稿では、幾何学に基づく動画生成により、屋外の状況における3Dガウス・スプラッティング（3DGS）再構成を改善する新しいアプローチであるGaussFusionを提案します。GaussFusionは、カメラ姿勢の誤り、不完全なカバレッジ、ノイズの多い幾何学初期化に起因する、浮遊物（floaters）、ちらつき、ぼやけといった一般的な3DGSアーティファクトを軽減します。従来のRGBベース手法が単一の再構成パイプラインに限定されているのに対し、本手法は、最適化ベースおよびフィードフォワードの双方の方法にわたって3DGSレンダリングを改良する、幾何学に基づく動画-to-動画ジェネレータを導入します。既存の再構成が与えられると、深度、法線、不透明度、共分散を符号化したガウスプリミティブの動画バッファをレンダリングし、ジェネレータがこれを洗練させることで、時間的に一貫した、アーティファクトのないフレームを生成します。さらに、多様な劣化パターンをシミュレートするアーティファクト合成パイプラインも導入し、頑健性と汎化性を保証します。GaussFusionは、新規視点合成ベンチマークにおいて先端（state-of-the-art）の性能を達成し、効率的なバリアントは同等の性能を維持しつつ21 FPSでリアルタイム動作するため、インタラクティブな3Dアプリケーションを可能にします。