Catalyst4D: ダイナミック伝搬による高忠実度の3Dから4Dシーン編集

要約: 最近のNeRFと3DGSを用いた3Dシーン編集の進展は、高品質な静的シーン編集を可能にします。これに対し、動的シーン編集は依然として困難であり、2D拡散モデルを直接4Dへ拡張する手法は、しばしばモーションアーティファクト、時間的フリッカ、スタイル伝播の一貫性の欠如を生じさせます。私たちはCatalyst4Dを導入します。これは高品質な3D編集を動的な4Dガウスシーンへ転送し、空間的および時間的整合性を維持するフレームワークです。中核となるAnchor-based Motion Guidance（AMG）は、元のガウスと編集済みガウスの双方から、構造的に安定し、空間的に代表性のあるアンカーの集合を構築します。これらのアンカーは堅牢な領域レベルの参照として機能し、それらの対応は最適輸送によって確立され、領域間の干渉やモーションドリフトを回避しつつ一貫した変形伝播を可能にします。補完的に、Color Uncertainty-guided Appearance Refinement（CUAR）は、ガウスごとの色の不確実性を推定し、遮蔽に起因するアーティファクトが発生しやすい領域を選択的に洗練させることにより、時間的な外観の一貫性を維持します。広範な実験により、Catalyst4Dが時間的に安定した高忠実度の動的シーン編集を達成し、視覚品質とモーションの一貫性の両方において既存手法を上回ることが示されています。