HEX: 身体同調型エキスパートによる身体形態をまたぐ全身操作のための手法

Abstract

人間は、全身の協調的な制御によって複雑な操作を達成します。一方で、ほとんどの視覚言語行動（VLA）モデルはロボットの身体部位を概ね独立に扱うため、高自由度（DoF）のヒューマノイド制御が難しく、しばしば不安定になります。我々は、フルサイズの二足歩行ヒューマノイドロボット上での協調操作のための状態中心型フレームワークHEXを提案します。HEXは、異なる実装形態にまたがってスケーラブルに学習するための、ヒューマノイドに整合した普遍的な状態表現を導入し、大規模な複数実装形態の軌跡データから、全身の協調と時間的な運動ダイナミクスをモデル化するために、Mixture-of-Experts（Mixture-of-Experts）統一固有受容予測器を組み込みます。時間的な視覚文脈を効率よく捉えるために、HEXは軽量な履歴トークンを用いて過去の観測を要約し、推論時に歴史的画像を繰り返し符号化することを回避します。さらに、残差ゲート付き融合機構と、フローマッチングのアクションヘッドを採用することで、視覚言語の手がかりを固有受容ダイナミクスと適応的に統合し、行動生成を行えるようにします。実世界のヒューマノイド操作タスクでの実験により、HEXはタスク成功率と汎化性能において最先端の性能を達成することが示されました。特に、素早い反応が求められる状況や長いホライズンのシナリオにおいて顕著です。