ReFlow：自己修正によるモーション学習で実現する動的シーン再構成

概要: 本稿では、生のビデオから、独自の自己修正方式によって3Dモーションを学習する、単眼ダイナミックシーン再構成のための統一フレームワークであるReFlowを提案します。既存の手法では、動的領域に対するシーン初期化が不完全になりがちで、その結果として再構成およびモーション推定が不安定になり、さらに安定化と拘束のために、事前計算された光学フローのような外部の高密度モーションガイダンスに頼ることがしばしばあります。しかし、これは追加の複雑性と、潜在的な誤差伝播を引き起こします。これらの課題に対処するため、ReFlowは、静的領域と動的領域の両方の初期化を強化するComplete Canonical Space Constructionモジュールと、静的成分と動的成分を分離して、対象を絞ったモーション監督を可能にするSeparation-Based Dynamic Scene Modelingモジュールを統合します。ReFlowの中核は、新しい自己修正フローマッチング機構であり、時間変動する2D観測と3Dシーンフローを整合させるFull Flow Matchingと、静的オブジェクトに対してマルチビュー整合性を強制するCamera Flow Matchingから構成されます。これらのモジュールにより、頑健で正確なダイナミックシーン再構成が可能になります。多様なシナリオにわたる大規模な実験の結果、ReFlowは再構成品質と頑健性の点で優れた性能を達成し、単眼4D再構成のための新しい自己修正パラダイムを確立することが示されます。