見るから行うへ：ロボットによる操作のための推論と意思決定の橋渡し

Abstract

ロボットによるマニピュレーションにおける汎化の実現は、特に未見の状況や新規タスクにおいて、依然として重要な課題である。現在のビジョン・ランゲージ・アクション（VLA）モデルは、一般的なビジョン・ランゲージ・モデル（VLM）の上に構築されているものの、実体データセットに見られる希少性と異質性のために、堅牢なゼロショット性能を達成するには至っていない。これらの制約に対処するために、本稿では、空間関係の推論によって中間表現を生成する新しいビジョン・ランゲージ・モデルであるFSD（From Seeing to Doing）を提案する。これにより、ロボットのマニピュレーションに対してきめ細かなガイダンスを提供する。提案手法は、学習のための階層的データパイプラインと、空間座標を視覚信号に整合させる自己整合性メカニズムを組み合わせる。広範な実験を通じて、「見ること」と「行うこと」の両方におけるFSDの能力を包括的に検証し、一般的な空間推論および実体参照能力に関する8つのベンチマークで優れた性能を達成した。さらに、より挑戦的な提案ベンチマークVABenchでも同様の成果を示した。また、ロボットマニピュレーションにおけるゼロショット能力も検証し、SimplerEnvおよび実ロボット環境の両方で、ベースライン手法に対して大幅な性能向上を示した。実験結果は、FSDがSimplerEnvで成功率40.6%を達成し、8つの実世界タスクにおいては成功率72%を達成しており、最強のベースラインを30%上回ることを示している。