ShapeGrasp：同時の視覚-触覚による形状補完と把持によりロボット操作を改善

Abstract

人は、最初の視覚による推定と、対象との相互作用中に得られる触覚および固有感覚（自己受容）フィードバックを組み合わせることで、見慣れない対象を把持します。本稿では、このアプローチをロボットで実装した ShapeGrasp を提示します。提案手法は、暗黙的なサーフェスに基づくビジュオ・ハプティックな形状の完了（部分情報から完全な 3D 形状を作成すること）と、物理ベースの把持計画とを結び付けた、反復型の把持・完了パイプラインです。単一の RGB-D 視点から、ShapeGrasp は完全な形状（点群または三角メッシュ）を推定し、剛体シミュレーションによって候補把持を生成して、最も実行可能な把持を実行します。各把持の試行は追加の幾何学的制約をもたらします――触覚表面の接触と、把持器（グリッパー）本体が占有する空間です。これらは融合されて対象の形状を更新します。失敗が起きた場合には、洗練された形状を用いて姿勢の再推定と再把持を行います。ShapeGrasp を実世界で評価するにあたり、2 種類のロボットとグリッパーを用います。私たちの知る限り、実世界での把持に応じて形状表現を更新する最初のアプローチです。2 種類のグリッパーのいずれに対してもベースラインより優れた結果を達成しました（3 指グリッパーで把持成功率 84%、2 指グリッパーで 91%）。さらに、使用したすべての評価指標において 3D 形状再構成の品質も向上させました。