逆運動学を用いた視覚ベースの手影模倣によるロボット操作

Abstract

低コストのロボットマニピュレータの遠隔操作は、人間の手の関節運動をロボットの関節コマンドへ写像する複雑さのため、依然として難しい。私たちは、3Dプリントされたメガネに搭載された単一の自己視点RGB-Dカメラからのオフラインの手影模倣とリターゲティングパイプラインを提示する。パイプラインは、MediaPipe Handsを用いて各手の21個のランドマークを検出し、深度センサを用いて3Dへ再構成し、ロボット座標系へ変換し、PyBulletで減衰付き最小二乗法逆運動学問題を解いて6-DOFのSO-ARM101ロボットの関節コマンドを生成する。グリッパーコントローラは、母指と人指の幾何を把持開口幅へ対応づける4段階のフォールバック階層を用いる。アクションはまず物理シミュレーションでプレビューされ、その後LeRobotフレームワークを通じて実機ロボットへリプレイされる。私たちは、構造化されたピックアンドプレースベンチマーク（5タイルのグリッド、タイルごとに10回の把持）でIKリターゲティングパイプラインを評価し、成功率90%を達成した。また、リーダー-フォロワー遠隔操作データで訓練された4つのビジョン-言語-アクションポリシー（ACT、SmolVLA、pi0.5、GR00T N1.5）と比較した。さらに、未構造な実世界環境（食料品店、薬局）でIKパイプラインをテストしたところ、周囲の物体による手の遮蔽が成功率を9.3%に低下させた（N=75）。これにより、マーカーフリーの解析的リターゲティングの可能性と現在の制約の両方が浮き彫りとなっている。