SnapPose3D：拡散モデルによる単一フレーム2Dから3Dへの人の姿勢推定

要旨: 文献で提案されている2D-to-3Dリフティング手法によって正確な人間の姿勢予測を得る際の主要な障害は、深度の曖昧さと関節の不確実性の2つである。とりわけ、これらの問題は、複数の3D位置に対応付け可能な2D関節位置によって引き起こされ、結果として複数の最終的な姿勢が生じ得る。そこで本研究では、拡散ベースの生成モデルの能力を活用して複数の仮説を予測し、それらを最終的な正確な姿勢へ集約することを提案する。以上を踏まえ、視覚的コンテキストと2D姿勢特徴の両方に条件付けて3D姿勢をデノイズする、決定論的に学習されたポーズ・リフティングフレームワークであるSnapPose3Dを導入する。SnapPose3Dは推論時に確率的アプローチを採用し、単位ガウス分布からのランダムサンプリングによって複数の仮説を生成する。姿勢の曖昧さに対処する多くの先行手法が時間系列を処理することで対応しているのに対し、SnapPose3Dは入力として単一フレームを用いる。これにより、追跡を回避でき、計算コスト、データ取得の複雑性、さらにオンラインのリアルタイム適用が必要となることを抑えられる。3D人間姿勢推定タスクのためのよく知られたベンチマークに対してSnapPose3Dを広範に評価し、正確な仮説の生成と集約が可能であり、それが先端（state-of-the-art）の結果につながることを示す。