GenAssets：潜在空間で「その場の実環境」から3Dアセットを生成する

概要: 交通参加者のための高品質な3Dアセットは、安心・安全な自律のエンドツーエンド開発に不可欠なマルチセンサーシミュレーションにおいて重要です。現実世界（in-the-wild）データからアセットを構築することは、多様性と現実感のための鍵ですが、既存のニューラルレンダリングに基づく再構成手法は遅く、元の観測に近い視点でのみうまくレンダリングできるアセットを生成するため、シミュレーションでの有用性が制限されます。近年、拡散ベースの生成モデルは完全で多様なアセットを構築できますが、観測されたアクターが疎で限定的な視野のもとで捉えられ、さらに一部が遮蔽されているような、in-the-wildの走行シーンでは性能が低下します。本研究では、センサープラットフォームによって取得されたin-the-wildのLiDARおよびカメラデータから学習する3D潜在拡散モデルを提案し、完全なジオメトリと外観を備えた高品質な3Dアセットを生成します。提案手法の要となるのは、「再構成してから生成する（reconstruct-then-generate）」アプローチであり、まず複数のシーンにわたって学習した遮蔽に配慮したニューラルレンダリングを活用してオブジェクトの高品質な潜在空間を構築し、次にその潜在空間上で動作する拡散モデルを学習します。本手法は、既存の再構成および生成に基づく手法よりも優れた性能を示し、シミュレーションのための多様でスケーラブルなコンテンツ制作を可能にします。