MoCapAnything V2：任意スケルトンに対応したエンドツーエンドモーションキャプチャ

Abstract

単眼動画から任意スケルトンのモーションキャプチャを行うための最近の手法は、因数分解されたパイプラインに従っており、Video-to-Poseネットワークが関節位置を予測し、解析的逆運動学（IK）段階が関節回転を復元します。効果的ではあるものの、この設計は本質的に制約があります。関節位置だけでは回転を完全に決定できず、骨軸のツイストのような自由度が曖昧なままとなるためです。また、微分不可能なIK段階により、システムがノイズを含む予測に適応したり、最終的なアニメーション目的に対して最適化したりすることができません。本研究では、Video-to-PoseとPose-to-Rotationの両方を学習可能で、かつ共同最適化する、初の完全なエンドツーエンドフレームワークを提示します。ポーズから回転への対応付けにおける曖昧さは、座標系情報の欠落に起因することを観察します。同じ関節位置でも、異なるレストポーズやローカル軸の取り決めの下では、異なる回転に対応し得るのです。この問題を解決するために、ターゲットアセットから参照ポーズと参照回転のペアを導入します。これにより、レストポーズと合わせて、対応付けを固定するだけでなく、回転の基盤となる座標系も定義できます。この定式化により、回転予測は適切に制約された条件付き問題となり、効果的な学習が可能になります。さらに、当社のモデルは、メッシュの中間表現に依存せずに動画から直接関節位置を予測します。これにより、頑健性と効率の両方が向上します。両段階は、関節レベルのローカル推論とグローバルな協調のための、スケルトン対応のGlobal-Local Graphガイド付きMulti-Head Attention（GL-GMHA）モジュールを共有します。Truebones ZooおよびObjaverseでの実験では、提案手法により回転誤差が約17度から約10度に低減され、未知のスケルトンでは6.54度まで改善することを示します。さらに、メッシュベースのパイプラインに比べて約20倍高速な推論を達成しています。プロジェクトページ: https://animotionlab.github.io/MoCapAnythingV2/