TrackDeform3D: マーカーレスかつ自律的な3Dキーポイント追跡と変形可能オブジェクトのデータセット収集

要旨: 構造化された3D表現であるキーポイントやメッシュは、変形可能なオブジェクトのコンパクトで表現力豊かな記述を提供し、幾何情報とトポロジ情報を同時に捉え、ダイナミクスモデリングやモーションプランニングといった下流タスクに有用な情報を提供します。さらに、こうした表現を頑健に抽出することは依然として難しく、現在の知覚手法は複雑な変形に対処するのに苦労しています。さらに、大規模な3Dデータ収集は依然としてボトルネックです。既存のアプローチは、労力を要するアノテーションや高価なモーションキャプチャ設備のようなデータ収集のコストを必要とするか、または非構造化環境で崩れる簡略化された仮定に依存します。その結果、変形可能なオブジェクトの大規模な3Dデータセットやベンチマークは依然として希少です。これらの課題に対処するため、本論文はRGB-Dカメラのみを用いて変形可能なオブジェクトの3Dデータセットを収集する、手頃で自律的なフレームワークを提案します。提案手法は3Dキーポイントを特定し、それらの軌跡を頑健に追跡します。運動的一貫性制約を組み込むことで、時間的に滑らかで幾何学的に整合のデータを生成します。TrackDeform3Dは、さまざまな物体カテゴリーにわたる複数の最先端追跡手法と比較評価され、幾何学的精度と追跡精度の両方で一貫した改善を示しています。このフレームワークを用いて、本論文は6つの変形可能なオブジェクトからなる高品質で大規模なデータセットを提示します。総計110分の軌跡データを含みます。