トランポリン体操におけるヒト姿勢推定：新しい合成データセットによるパフォーマンス向上

Abstract

トランポリン体操は、極端な人体姿勢や一般的でない視点を伴いますが、最先端の姿勢推定モデルはそのような条件下で性能が十分に発揮されない傾向があります。本研究では、合成トランポリン姿勢のデータセット（STP）に対して姿勢推定モデルを微調整（fine-tuning）することで、この問題に対処できることを示します。STPは、トランポリン演技のモーションキャプチャ記録から生成されます。ノイズのあるモーションキャプチャデータをパラメトリックな人体モデルに適合させるためのパイプラインを開発し、その後、複数視点の現実的な画像を生成します。得られたデータを用いてViTPoseモデルを微調整し、実際の多視点トランポリン画像で評価します。その結果得られたモデルは、2Dにおいて精度が向上し、この改善が3Dの三角測量の精度向上につながります。2Dでは、このような難しいデータに対して最先端の結果を達成し、一般的な姿勢と極端な姿勢の間にある性能差を埋めます。3Dでは、最良のモデルによりMPJPEを12.5 mm削減し、事前学習済みのViTPoseモデルと比べて19.6%の改善に相当します。