Articulat3D: 幾何・運動制約を用いた単眼動画からの可動関節デジタルツインの再構築

視覚データから関節を有する物体の高忠実度デジタルツインを構築することは、依然として中心的な課題です。既存のアプローチは、日常的に撮影された単眼動画に対しての、物体の離散的・静的な状態のマルチビューキャプチャに依存しており、現実世界でのスケーラビリティを著しく制約します。本論文では Articulat3D を紹介します。これは、日常的に撮影された単眼動画からこのようなデジタルツインを構築する新しいフレームワークで、明示的な3D幾何学および運動制約を共同で課すことによって実現します。まず Motion Prior-Driven Initialization を提案します。これは 3D 点追跡を活用して、関節運動の低次元構造を利用します。シーンダイナミクスをコンパクトなモーションベースの集合でモデル化することにより、シーンを複数の剛体的に動くグループへソフトに分解します。この初期化を基に、幾何学的および運動的制約の洗練を導入します。これにより、関節軸、支点、および各フレームのモーションスカラーでパラメータ化された学習可能なモーション素子を用いて、物理的に妥当で時間的整合性のある再構成を実現します。広範な実験により、Articulat3D は合成ベンチマークと現実世界の日常的に撮影された単眼動画の双方で最先端の性能を達成し、未制御の現実世界条件下でのデジタルツイン作成の実現性を大幅に前進させます。我々のプロジェクトページは https://maxwell-zhao.github.io/Articulat3D にあります。