Unposed-to-3D：実世界の画像からシミュレーション対応車両を学習する

要旨: 現実的でシミュレーションに適した3Dアセットを作成することは、自動運転研究および仮想環境の構築において重要です。しかし、既存の3D車両生成手法は、多くの場合、現実世界の分布との間に大きなドメインギャップを持つ合成データで学習されています。そのため生成モデルには恣意的なポーズや未定義のスケールが現れやすく、運転シーンに統合した際の視覚的一貫性が低下します。本論文では、画像のみの教師あり情報（image-only supervision）を用いて、実世界の運転画像から3D車両を復元することを学習する新しい枠組みUnposed-to-3Dを提案します。提案手法は2段階で構成されます。第1段階では、既知のカメラパラメータを持つポーズ付き画像を用いて、画像から3D復元を行うネットワークを学習します。第2段階では、カメラの教師信号を取り除き、カメラ予測ヘッドを用いて、ポーズなし画像からカメラパラメータを直接推定します。推定されたポーズは微分可能レンダリングに利用され、自己教師ありのフォトメトリックなフィードバックを提供することで、ポーズなし画像だけから3D形状を学習できるようにします。シミュレーションに適した状態を確実にするため、さらに実世界のサイズ情報を予測するスケール対応モジュールを導入します。また、調和化モジュールにより、生成された車両を目標の運転シーンに適応させ、照明や外観を一貫させます。大規模な実験により、Unposed-to-3Dが実世界の画像から、現実的でポーズが一貫した、かつ調和された3D車両モデルを効果的に復元できることが示され、運転シーンのシミュレーションやデジタルツイン環境のための高品質アセット作成に向けたスケーラブルな道筋を提供します。