要旨: 本稿では、単眼RGB-D動画から複数の剛体物体を対象として、因果的な6D姿勢追跡を行うための、モデルフリー手法であるPoint2Poseを提示する。追跡対象の物体上の疎な画像点のみを用いて初期化することで、我々のアプローチは物体のCADモデルやカテゴリーの事前知識を必要とせず、これまで未観測の複数物体を追跡する。Point2Poseは2D点トラッカーを活用して長距離の対応関係を取得し、完全な遮蔽が発生した後でも即座に復元できるようにする。同時に、本システムは追跡対象を対象として、オンラインのTruncated Signed Distance Function（TSDF）表現を逐次的に再構成する。手法に加えて、シミュレーションと実世界の両方のシーケンスから成る新しいマルチオブジェクト追跡データセットを導入し、評価にはモーションキャプチャの正解データを用いる。実験の結果、Point2Poseは、重度な遮蔽を扱うベンチマークにおいて最先端手法と同等の性能を達成することが示された。さらに、従来のモデルフリー追跡アプローチではサポートされていなかった、マルチオブジェクト追跡および完全遮蔽からの復元も可能である。
Point2Pose：2Dポイントトラッカーによる複数の未知物体のための、遮蔽復元型6Dポーズ追跡と3D再構成
arXiv cs.RO / 2026/4/14
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- Point2Poseは、単眼RGB-D動画において、物体上の疎な点のみを用いて初期化し、複数の剛体の因果的6Dポーズ追跡と3D再構成を行うモデルフリー手法である。
- CADモデルやカテゴリの事前知識なしに、2Dポイントトラッカーを用いて長距離の対応関係を生成し、完全な遮蔽の後に瞬時に復元することで、未観測の物体を追跡する。
- 本手法は、追跡対象に対してオンラインTSDF表現を逐次的に構築し、同時にポーズ推定と表面／幾何学の再構成を可能にする。
- 著者らは、評価のためにモーションキャプチャのグラウンドトゥルースを備えた、新しいマルチオブジェクト追跡データセット（シミュレーション＋実世界）も提案している。
- 実験結果では、深刻な遮蔽ベンチマークにおいて最先端手法と同等の性能が示され、さらにマルチオブジェクト対応と、先行するモデルフリー追跡アプローチを超える完全遮蔽からの復元が追加されている。
