RetimeGS: 4D Gaussian Splatting の連続時間再構成

要旨: 時間的リタイミング、任意のタイムスタンプで動的シーンを再構築しレンダリングする能力は、スローモーション再生、時間的編集、ポストプロダクションなどの用途にとって極めて重要です。しかし、既存の4D Gaussian Splatting（4DGS）法の多くは離散的なフレームインデックスに過剰適合してしまい、連続的な時系列フレームを表現することが難しく、タイムスタンプ間で補間する際にゴーストアーティファクトが生じます。この制限を時間的エイリアシングの一形態としてとらえ、RetimeGSを提案します。これは単純でありながら効果的な4DGS表現で、3Dガウスの時間的挙動を明示的に定義し、時間的エイリアシングを緩和します。滑らかで一貫した補間を実現するため、光学フローに基づく初期化と監視、トリプルレンダリング監視、そしてその他のターゲットを絞った戦略を取り入れています。これらの要素を組み合わせることで、大きな運動下でもゴーストフリーで時間的一貫性のあるレンダリングを実現します。高速な動き、非剛性変形、ひどい遮蔽を特徴とするデータセットでの実験は、RetimeGSが最先端の手法に対して優れた品質と一貫性を達成することを示しています。