3Dダイナミクスに配慮したマニピュレーション：3D先読みによってマニピュレーション・ポリシーに能力を付与する

Abstract

操作ポリシー学習への世界モデル化の導入は、操作の性能の限界を押し広げてきました。しかし、既存の取り組みは単に2次元の視覚ダイナミクスをモデル化するだけであり、対象タスクが目立った奥行き方向の移動を伴う場合の、堅牢な操作には不十分です。そこで本論文では、3D世界モデル化とポリシー学習をシームレスに統合する、3Dダイナミクス認識型の操作フレームワークを提案します。このフレームワーク内では、3つの自己教師あり学習タスク（現在の深度推定、将来のRGB-D予測、3Dフロー予測）を導入しており、これらは互いに補完し合い、ポリシーモデルに3Dの見通し（foresight）を与えます。シミュレーションおよび実世界における大規模な実験により、3Dの見通しは、推論速度を犠牲にすることなく、操作ポリシーの性能を大幅に向上できることが示されます。コードは https://github.com/Stardust-hyx/3D-Foresight で公開されています。