要旨: 多視点の人体メッシュ復元（HMR）は、高い精度と強力な汎化が不可欠である多様な領域で広く展開されています。既存の手法は、大きく幾何ベースの方法と学習ベースの方法に分類できます。しかしながら、幾何ベースの方法（例: 三角測量）は煩雑なカメラキャリブレーションに依存し、一方で学習ベースのアプローチは、多視点の学習データが不足しているため未見のカメラ構成に対して汎化が不十分になりがちであり、実環境での性能を制限しています。任意のカメラ設定にまで汎化する、キャリブレーション不要の復元を可能にするために、我々は、学習を必要としない枠組みを提案します。この枠組みは、事前学習済みの単一視点HMRモデルを強力な事前知識（プライア）として活用し、多視点の学習データを不要にします。本手法ではまず、単一視点の予測から頑健で整合的な多視点の初期化を構築し、次に多視点の整合性と解剖学的制約に導かれたテスト時最適化によってそれを洗練させます。大規模な実験により、標準ベンチマークにおいて最先端の性能を達成していることを示し、明示的な多視点の監督で学習された多視点モデルを上回ります。
単眼モデルは多視点の人体メッシュ復元における強力な学習者である
arXiv cs.CV / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、幾何ベース手法が課すカメラ校正の負担を回避し、また多様なカメラ設定で学習されていない学習ベースモデルの一般化性能の低さに対処することで、多視点人体メッシュ復元（HMR）を扱う。
- 事前学習済みの単眼HMRモデルを事前知識（プライオリ）として用い、単眼予測から一貫性のある多視点の初期化を構築する、学習不要・校正不要の枠組みを提案する。
- 本アプローチは、多視点の整合性と解剖学的制約に基づくテスト時最適化によってメッシュを洗練させるものであり、多視点の学習データを要求しない。
- 標準ベンチマークでの実験により、最先端の結果が示されており、明示的な多視点監督で学習したモデルを上回る性能も得られる。
- 総じて本研究は、HMR品質を多視点の学習構成の利用可能性やカバー範囲から切り離すことで、現実世界における頑健性の向上を目標としている。
