VLMと部分観測を用いた視点非依存の把持パイプライン

概要: 乱雑で未構造な環境における頑健な把持は、遮蔽によって部分的な観測につながり、不確実な深度推定を引き起こし、さらに衝突回避が可能で実行可能なアプローチを必要とするため、モバイル脚式マニピュレータにとって依然として困難です。本論文では、オープン語彙のターゲット選択から実機ロボットにおける安全な把持の実行までをつなぐ、言語による把持のエンドツーエンド・パイプラインを提案します。自然言語による指令を与えると、システムはオープン語彙検出とプロンプト可能なインスタンスセグメンテーションを用いてRGB上にターゲットを実体化し（grounding）、RGB-Dから物体中心の点群を抽出し、さらに逆投影による深度補償と二段階の点群補完によって遮蔽下での幾何学的な信頼性を向上させます。次に、6自由度（6-DoF）の把持候補を生成し、衝突フィルタリングを行い、安全志向のヒューリスティックに基づいて、到達可能性、アプローチの実行可能性、クリアランスを考慮した上で、実行可能な把持を選択します。本手法を、腕を備えた四脚ロボットで、2つの乱雑な卓上シナリオにおいて評価し、視点依存のベースラインに対してペア比較の試行を行います。提案手法は、ベースラインの30%（3/10）に対して全体で90%の成功率（9/10）を達成し、乱雑環境における遮蔽と部分的観測に対して大幅に頑健であることを示します。