ComSim：合成シミュレーションによるスケーラブルな実世界ロボットデータ生成の構築

概要: 大規模言語モデルやワールドモデルのような基盤モデルに関する最近の進歩は、ロボティクスの能力を大きく高め、ロボットが自律的に複雑なタスクを実行できるようにしました。しかし、ロボティクス向けの大規模で高品質な学習データを獲得することは依然として課題です。多くの場合、相当な手作業が必要であり、また多様な実世界環境を網羅する範囲にも限界があります。そこで本研究では、Compositional Simulation（構成的シミュレーション）と呼ぶ新しいハイブリッド手法を提案します。この手法は、古典的シミュレーションとニューラルシミュレーションを組み合わせることで、現実との整合性を維持しながら正確な行動-動画ペアを生成します。我々のアプローチは、クローズドループの real-sim-real データ拡張パイプラインを用い、少量の実世界データを活用して、多様で大規模な学習データセットを生成し、より幅広い現実シナリオをカバーします。さらに、ニューラルシミュレータを訓練して古典的シミュレーションの動画を実世界表現へ変換し、実世界環境で学習した方策モデルの精度を向上させます。大規模な実験を通じて、本手法が sim2real ドメインギャップを大幅に低減し、その結果として実世界での方策モデル学習における成功率が向上することを示します。本手法は、堅牢な学習データを生成し、シミュレートされたロボティクスと実世界のロボティクスの間のギャップを埋めるための、スケーラブルな解決策を提供します。