Touch Dreaming による汎用的なヒューマノイド手先操作の学習

要旨: ヒューマノイドロボットは汎用的な支援を約束しますが、現実世界でのヒューマノイドの移動・操作（ロコマニピュレーション）は、頻繁に接触が変化する状況で、全身の安定性、巧みな手、そして接触を意識した知覚が必要となるため、依然として難しい課題です。本研究では、巧緻で接触に富んだヒューマノイドのロコマニピュレーションを扱います。まず、複雑な操作の間に安定した下半身と体幹の実行を提供する、強化学習（RL）ベースの全身コントローラを開発します。このコントローラに基づき、VRベースの遠隔操作と、人からヒューマノイドへのモーション・マッピングを組み合わせた、全身ヒューマノイドのデータ収集システムを構築し、現実世界でのデモンストレーションを効率的に収集できるようにします。次に、多関節タッチを中核モダリティとして、マルチビュー視覚と固有感覚と並んでモデリングするマルチモーダル・エンコーダ--デコーダ・トランスフォーマである、Touch Dreamingを備えたヒューマノイド・トランスフォーマ（HTD）を提案します。HTDは、タッチ・ドリーミングで強化された行動模倣（ベホビアクローニング）により単一段階で訓練されます。行動チャンクを予測するだけでなく、ポリシーは将来の手関節トルク（力）と将来の触覚潜在表現を予測し、共有されたトランスフォーマのトランクが、巧緻な相互作用のための接触を意識した表現を学習するよう促します。接触に富む5つのタスク、Insert-T、Book Organization、Towel Folding、Cat Litter Scooping、Tea Servingにおいて、HTDは、より強力なベースラインに対する平均成功率で90.9%の相対的な改善を達成します。アブレーション結果はさらに、触覚の潜在空間での予測が、入力された生の触覚の予測よりも有効であり、成功率において30%の相対的な向上をもたらすことを示しています。これらの結果は、堅牢な全身実行、スケーラブルなヒューマノイドのデータ収集、そして予測に基づくタッチ中心の学習を組み合わせることで、現実世界における多用途で高い器用さを備えたヒューマノイド操作が可能になることを示しています。プロジェクト・ウェブページ: humanoid-touch-dream.github.io.