BridgeSim: エンドツーエンド自動運転におけるOL-CLギャップの解明

Abstract

オープンループ（OL）からクローズドループ（CL）へのギャップ（OL-CL ギャップ）は、OL評価において高いスコアを得るようなOL事前学習済み方策が、クローズドループ（CL）での展開において効果的に転移できない場合に生じる。本論文では、この体系的な失敗の根本原因を明らかにし、実用的な解決策を提案する。具体的には、OL方策が「観測ドメインシフト（Observational Domain Shift）」と「目的の不一致（Objective Mismatch）」の影響を受けることを示す。前者は適応技術によって概ね回復可能である一方、後者は複雑な反応的挙動をモデル化するための構造的な不可能性を生み出し、それが主要なOL-CLギャップを形成していることを明らかにする。さらに、幅広いOL方策が、CLシミュレーションの反応的な性質と、複合的な誤差を低減するために必要な時間的な注意力（temporal awareness）の両方を無視するような、偏ったQ値推定器を学習していることを見出す。そこで本研究では、観測シフトをキャリブレーションし、状態-行動のバイアスを低減し、時間的一貫性を強制するテスト時適応（Test-Time Adaptation: TTA）フレームワークを提案する。大規模な実験により、TTAが計画バイアスを効果的に緩和し、ベースラインの対応手法よりも優れたスケーリング動力学をもたらすことを示す。加えて、本分析では、クローズドループでの展開の現実を捉えられない、標準的なOL評価プロトコルにおける「盲点」の存在を明らかにする。