AutoAWG：自動車向け動画のための適応型マルチコントロールによる悪天候生成

要旨: 有害な天候下における知覚の頑健性は、自動運転にとって重要な課題であり続けています。根本的なボトルネックは、有害な天候における実世界の映像データが乏しいことにあります。既存の天候生成アプローチは、視覚品質と注釈の再利用性の両立に苦戦しています。本稿では、自動運転のための制御可能な有害天候ビデオ生成フレームワークであるAutoAWGを提案します。私たちの手法は、複数の制御を意味に導かれた適応的融合によって統合し、強い天候スタイライゼーションと安全に直結する重要ターゲットの高忠実度な保持の両立を図ります。さらに、消失点に基づけた時間的合成戦略を用いて静止画像から学習用シーケンスを構築し、合成データへの依存を低減します。そして、長期ホライズンな生成の安定性を高めるためにマスク付き学習を採用します。nuScenesの検証セットにおいて、AutoAWGは従来の最先端手法を大幅に上回ります。最初のフレームの条件付けなしでは、FIDとFVDがそれぞれ相対的に50.0%および16.1%低減します。最初のフレームの条件付けありでは、さらにFIDとFVDがそれぞれ8.7%および7.2%低減します。広範な定性的および定量的結果により、スタイル忠実性、時間的整合性、ならびに意味--構造の完全性における利点が示され、自動運転における下流の知覚改善に向けてAutoAWGが実用的価値を持つことを裏付けています。コードは以下で公開しています: https://github.com/higherhu/AutoAWG