身体化AIとロボットシミュレーションのための3D生成：サーベイ

Abstract

身体性のあるAIとロボティクス・システムは、シミュレーションに基づく訓練や現実世界への展開のために、拡張可能で多様かつ物理的に裏付けられた3Dコンテンツへの依存をますます強めています。3D生成モデリングは急速に進歩してきましたが、身体性のある応用が課す要件は、視覚的なリアリズムを超えて非常に広範です。生成される対象は運動学的な構造と材料特性を備えている必要があり、シーンは相互作用やタスク実行を支える必要があり、さらに得られるコンテンツはシミュレーションから現実へのギャップを埋めなければなりません。本調査は、身体性のあるAIのための3D生成に関する最初の調査であり、3D生成が身体性のあるシステムにおいて果たす3つの役割に基づいて文献を整理します。\emph{Data Generator} においては、3D生成が下流の相互作用のために、関節を持ち、物理的に裏付けられ、変形可能な内容を含む、シミュレーションにそのまま投入できるオブジェクトやアセットを生成します。\emph{Simulation Environments} では、構造を意識した、制御可能な、エージェント的なシーン生成までを含む、インタラクティブでタスク指向の世界を構築します。そして \emph{Sim2Real Bridge} では、デジタルツインの再構成、データ拡張、下流のロボット学習および現実世界への移転のための合成デモレーションを支援します。さらに、分野が視覚的リアリズムから相互作用の準備（インタラクションの即応性）へと移行しつつあることを示し、主なボトルネックとして、限定的な物理注釈、幾何学的品質と物理的妥当性の間のギャップ、断片的な評価、そして持続するシミュレーション対現実（sim-to-real）の分断を特定します。これらは、3D生成が身体性のある知能のための信頼できる基盤となるために対処されるべき課題です。本プロジェクトのページは https://3dgen4robot.github.io です。