ResiHMR：四肢喪失者向けの残存肢対応・単一画像3D人体メッシュ復元

要旨: 単一画像からの人体メッシュ復元は、分析、アニメーション、AR/VR、リハビリテーション、ヒューマンコンピュータインタラクションを支える、コンパクトな3D・人中心の表現を提供します。 しかし、既存のシステムは損傷のない四肢（健常肢）に関する事前知識を強く課し、四肢を失った人では劣化します。これは、固定トポロジーモデルでは残存肢（residual limb）を表現できないためです。本研究では、単一画像3D人体モデリングのための、残存肢を意識したフレームワークResiHMRを提案します。ResiHMRは残存肢のキーポイントを採用し、2つのコンポーネントを導入します: (i) トポロジー適応型のResidual Anchor-Factor Optimizationモジュールで、解剖学的に妥当な構造の観測された運動学的サブグラフに推定を制約し、(ii) 幾何に基づくResidual-Limb Reconstructionモジュールで、残存肢の境界と、凸な肢終端（limb-termination）の幾何を推定します。これらのコンポーネントは、非標準的な四肢の解剖に対する人体メッシュ復元のための手段として、トポロジーを考慮した最適化と、明示的な終端幾何を導入します。固定トポロジーにおける関節除去手法とは異なり、ResiHMRは残存肢の表面を明示的に再構成し、最適化を四肢喪失というトポロジーに整合させます。これにより、義肢のバイオメカニクスや現実世界の使用により適合します。私たちの知る限り、残存肢の表面を明示的に再構成し、四肢喪失のある個体に対してトポロジー適応型の最適化を行う、単一画像HMRシステムとしては初めてです。四肢喪失のある現実画像からなるキュレーション済みデータセット上で、ResiHMRはSMPLify-XバックボーンおよびHSMRバックボーンの両方において復元品質を改善し、SMPLify-Xでは健常関節の2D MPJPEを41.32から37.40へ、HSMRでは残存肢の2D MPJPEを73.61から23.19へと低減します。