ReSim：自動運転のための信頼性ある世界シミュレーション

要旨: 幅広い自車（ego）の運転挙動のもとで、将来の運転シナリオを確実にシミュレートするにはどうすればよいのでしょうか。近年の運転ワールドモデルは、主に安全なエキスパートの軌跡から成る実世界の運転データだけで開発されているため、危険な挙動や非エキスパートの挙動の追従が難しいという課題があります。これらの挙動は、そのようなデータでは稀であるためです。この制約は、ポリシー評価のようなタスクへの適用可能性を制限します。本研究では、この課題に対して、運転シミュレータ（例: CARLA）から収集した多様な非エキスパートデータで、実世界の人間デモを補強し、異種混合コーパスで学習した制御可能なワールドモデルを構築します。拡散トランスフォーマーのアーキテクチャを備えたビデオジェネレータから出発し、条件付け信号を効果的に統合し、予測の制御可能性と忠実性を高めるためのいくつかの戦略を考案します。得られたモデルである ReSim は、危険な非エキスパート挙動を含む、さまざまな行動のもとで多様なオープンワールドの運転シナリオを確実にシミュレートできるようにします。高忠実度なシミュレーションと、異なる行動を判断するために報酬信号を必要とするアプリケーションとのギャップを埋めるために、ReSim のシミュレートした将来から報酬を推定する Video2Reward モジュールを導入します。この ReSim のパラダイムは、視覚的忠実性を最大 44% 向上させ、エキスパートおよび非エキスパートの両方の行動に対して制御可能性を 50% 以上改善し、NAVSIM における計画とポリシー選択の性能を、それぞれ 2% と 25% 引き上げます。