U4D：LiDARシーケンスからの不確実性を考慮した4Dワールドモデリング

Abstract

LiDAR系列から動的な3D環境をモデリングすることは、自動運転や身体性のあるAI（embodied AI）に対して信頼性の高い4Dワールドを構築するための中核です。しかし、既存の生成フレームワークはしばしば、すべての空間領域を一様に扱い、現実のシーンに存在する不確実性のばらつきを見落としています。この一様な生成は、複雑または曖昧な領域でアーティファクトを生み、現実感と時間的安定性を制限します。本研究では、4D LiDARワールドモデリングのための、不確実性を考慮した枠組みであるU4Dを提案します。提案手法ではまず、事前学習済みのセグメンテーションモデルから空間不確実性マップを推定し、意味的に困難な領域を特定します。その後、2つの連続した段階によって「難しいものから易しいものへ（hard-to-easy）」という方法で生成を行います：（1）不確実性領域モデリング。高エントロピー領域を、微細な幾何学的忠実度で再構成します。（2）不確実性条件付き補完。学習された構造的事前知識（structural priors）のもとで、残りの領域を合成します。時間的な整合性をさらに確実にするため、U4Dは拡散（diffusion）中に空間表現と時間表現を適応的に融合する、時空間混合（MoST: mixture of spatio-temporal）ブロックを組み込みます。大規模な実験の結果、U4Dは幾何学的に忠実で時間的に一貫したLiDAR系列を生成し、自動認識およびシミュレーションのための4Dワールドモデリングの信頼性を高めることが示されました。