FunRec：エゴセントリックなインタラクション動画から機能的な3Dシーンを再構成する

概要: 私たちは、視点移動（エゴセントリック）RGB-Dのインタラクション動画から室内シーンの機能的な3Dデジタルツインを直接再構築するための手法、FunRecを提示します。制御されたセットアップ、多状態の取得、またはCADの事前知識に依存する既存の関節（アーティキュレーテッド）再構築手法とは異なり、FunRecは、自然環境下での人間のインタラクション系列に直接動作し、相互に操作可能な3Dシーンを復元します。FunRecは関節化された部品を自動的に発見し、それらの運動学的パラメータを推定し、3Dの運動を追跡し、さらに静止および移動する幾何形状を正規（カノニカル）空間上で再構築して、シミュレーションに適合するメッシュを生成します。新たな実データおよびシミュレーション用ベンチマークにおいて、FunRecは先行研究を大きく上回り、部品のセグメンテーションで最大+50 mIoUの改善、関節化誤差および姿勢誤差の5〜10分の低減、そして再構築精度の大幅な向上を達成します。さらに、シミュレーションのためのURDF/USDエクスポート、手動ガイドによるアフォーダンスのマッピング、ロボットとシーンのインタラクションといった応用も実証します。