Patient4D: 単眼の手術室ビデオから得られる時系列的一貫性を備えた患者の身体メッシュ復元

要約: 単眼ビデオから高密度の3D人体メッシュを復元することは、手術用ドレープによる遮蔽と連続的に動くカメラ視点による影響下で依然として困難です。この設定は外科用拡張現実（AR）で生じ、麻酓を受けた患者が手術用ドレープの下に横たわり、外科医の頭部装着カメラは視点を絶えず変化させます。既存のヒューマンメッシュ復元（HMR）手法は、通常、直立して動く被写体を比較的安定したカメラから撮影したデータで学習されており、そのような条件下で性能が低下します。これに対処するため、私たちは Patient4D を提示します。定常性 priors を明示的に活用する定常性制約付き再構築パイプラインです。パイプラインは、認識のための画像レベルのファウンデーションモデルと、フレーム間の時間的一貫性を強制する軽量な幾何メカニズムを組み合わせます。2 つの重要な要素が堅牢な再構築を可能にします: Pose Locking は安定したキーフレームを用いてポーズパラメータをアンカー化し、Rigid Fallback はシルエットに導かれた剛体整列を通じて厳しい遮蔽下でメッシュを回復します。これらの機構は、予測を安定化させつつ、既存の市販の HMR モデルと互換性を保ちます。私たちは Patient4D を 4,680 の合成外科シーケンスと 3 つの公開 HMR ビデオベンチマークで評価します。手術用ドレープによる遮蔽の下で、Patient4D は平均 IoU が 0.75 に達し、最良のベースラインと比較して失敗フレームを 30.5% から 1.3% に削減します。私たちの知見は、定常性 priors の活用が臨床 AR シナリオにおける単眼復元を大幅に改善する可能性を示しています。