赤ちゃんからヒューマノイドへのモーション・リタイゲティングにより乳児の一人称センサーモータ体験をシミュレーションする

Abstract

ヒトからヒトに似た人工エージェントへのモーションリタargetingは、二足歩行ロボットがより高度になってきていることから、ますます重要になっています。しかし、既存の多くの手法は運動学（キネマティクス）を再現することにのみ焦点を当てており、人の動きに付随する豊かな感覚運動（サンソリモータ）経験を無視しています。本研究では、物理および仮想のヒューマノイドを用いて、乳児のマルチモーダルな感覚運動経験をシミュレーションするための枠組みを提案します。単一の動画から、骨格構造を抽出し、各フレームごとに完全な3D姿勢を推定することで、乳児の身体構成を再構成します。次に、この再構成した動きをいくつかの発達用プラットフォームへと対応付けます：物理のiCubロボット、および仮想シミュレータのpyCub、EMFANT、MIMoです。これらの実体にリタargetingした動きを再生すると、固有感覚（関節と筋肉）、触覚、視覚を含むシミュレーションされたマルチセンサリストリームが得られます。最も適合する実体において、リタargetingはサブセンチメートル精度を達成し、乳児の発達に関する豊かなマルチモーダル分析を可能にするとともに、行動の強化された自動アノテーションを実現します。本枠組みは、乳児の感覚運動経験を見通す独自の窓を提供し、ロボティクス、発達科学、そして神経発達障害の早期検出に向けた新しいツールを提供します。コードは https://github.com/ctu-vras/motion-retargeting/ で公開されています。