WARPED：自己視点の人間デモンストレーションからロボット方策学習のための手首整列レンダリング

Abstract

人間のデモンストレーションから学習する分野における最近の進展は、頑健な視運動（visuomotor）ポリシーを訓練するために必要となるデータ収集のスケーラビリティと高コストという課題に対処できる有望な結果を示してきました。しかし、既存のアプローチは多くの場合、マルチビューのカメラ構成、深度センサー、あるいは専用ハードウェアへの依存によって制約されており、さらに一般的に、三人称または自己視点（egocentric）のカメラからのポリシー実行に限定されています。本論文では、人間のデモンストレーション動画から現実的な手首視点（wrist-view）観測を合成するためのフレームワークであるWARPEDを提案し、単眼のRGBデータのみを用いて視運動ポリシーの訓練を可能にします。自己視点RGBカメラから収集したデータを用いて、本システムは視覚の基盤モデルを活用し、インタラクティブなシーンを初期化します。次に、手-物体の相互作用パイプラインを用いて手と操作された物体を追跡し、軌道をロボットの終端エフェクタへとリターゲットします。最後に、ガウス・スパッティング（Gaussian Splatting）によって写真のようにリアルな手首視点観測を合成し、ロボットのポリシーを直接訓練します。WARPEDは、5つのテーブルトップ操作タスクにおいて、遠隔操作されたデモンストレーションデータで訓練したポリシーと同等の成功率を達成しながら、データ収集に必要な時間を5〜8倍少なくできることを示します。