AffordGen：親和対応（アフォード対応）による汎用的な物体操作のための、多様なデモンストレーション生成

Abstract

近年のロボット操作における最新の模倣学習手法の成功にもかかわらず、その性能はしばしば、データの多様性が限られていることによって生じる幾何学的な変動に制約されます。強力な3D生成モデルと視覚基盤モデル（VFM）を活用することで、本提案のAffordGenフレームワークは、大規模な3Dメッシュ間における意味のあるキーポイントのセマンティックな対応関係を利用し、新たなロボット操作の軌道を生成することにより、この制限を克服します。その後、この大規模でアフォーダンスを考慮したデータセットを用いて、アフォーダンスのセマンティックな汎化性と、エンドツーエンド学習の反応的な頑健性を組み合わせた、頑健なクローズドループの視運動ポリシーを学習します。シミュレーションおよび実環境での実験により、AffordGenで訓練したポリシーは高い成功率を達成し、本当に見たことのない物体に対してゼロショットで汎化できることが示され、ロボット学習におけるデータ効率が大幅に向上します。