Mango-GS: マルチフレーム・ノード誘導型4Dガウシアン・スプラッティングを用いた動的シーン再構成における時空的一貫性の向上

要旨: ダイナミックな3Dシーンをフォトリアリスティックなディテールと強い時系列的一貫性をもって再構成することは、依然として重要な課題です。動的シーンモデリングの既存のガウシアン・スプラッティング手法は多くの場合フレームごとの最適化に依存し、瞬時の状態に過剰適合する可能性があり、基礎となるモーションダイナミクスを捉えられません。これに対処するため、私たちは高忠実度の4D再構成のためのマルチフレーム・ノード誘導型フレームワーク、Mango-GSを提案します。 Mango-GSは、短いフレーム窓内の運動依存性をモデル化するために時系列トランスフォーマを活用し、時間的に一貫した変形を生成します。効率性のため、時系列モデリングは希少な制御ノードの集合に限定されます。各ノードは、分離されたカノニカル位置と潜在コードで表現され、運動伝搬の安定したセマンティックアンカーを提供し、大きな運動の下で対応づけのドリフトを防ぎます。我々のフレームワークはエンドツーエンドで訓練され、入力マスキング戦略と2つのマルチフレーム損失によってロバスト性を高めます。広範な実験により、Mango-GS は最先端の再構成品質とリアルタイムレンダリング速度を達成し、動的シーンの高忠実な再構成と対話的レンダリングを可能にすることを示しています。