基盤モデルに基づく自律型二足歩行ヒューマノイドの把持のための迅速デプロイメント・パイプライン

概要: ヒト型ロボットを使って新しい対象物を操作するには、これまで伝統的に 1〜2 日の労力が必要でした。すなわち、データ収集、手動によるアノテーション、3Dモデルの取得、そしてモデルの学習です。本論文は、新しい対象物のオンボーディング期間を約30分にまで短縮するために、3つの基盤モデルコンポーネントを統合したエンドツーエンドの迅速デプロイメント・パイプラインを提案します。具体的には、(i) YOLOv8 の物体検出器の学習を支援するための Roboflow ベースの自動アノテーション、(ii) 専用のレーザースキャナを不要にする Meta SAM 3D に基づく3D再構成、(iii) SAM~3D によって生成されたメッシュをそのままテンプレートとして用いる FoundationPose によるゼロショット 6-DoF 姿勢追跡です。推定された姿勢は、Unity ベースの逆運動学プランナーに入力されます。このとき、関節指令は UDP 経由で Unitree~G1 ヒト型へストリーミングされ、Unitree SDK を通じて実行されます。我々は、検出精度 mAP@0.5 = 0.995、姿勢追跡精度 sigma < 1.05 mm、および作業空間内の 5 つの位置で実ロボットによる把持の成功を示します。さらに、自動車の窓への接着剤塗布タスクにおいて、このパイプラインの汎用性を検証します。その結果、知覚のための基盤モデルと日常的な撮像デバイス（例：スマートフォン）を組み合わせることで、ヒト型の操作タスクにおけるデプロイメントの障壁を大幅に低減できることが分かります。