推論時の嗜好整合により制御可能な敵対的シナリオ生成

要旨: 敵対的シナリオ生成は、自動運転システムの安全性評価に対する費用対効果の高いアプローチである。しかし、既存手法はしばしば、敵対性と現実性のような競合する目的間のトレードオフを単一の固定的なものに制約されがちである。これにより、振る舞い（挙動）固有のモデルが生まれ、推論時に制御（操縦）することができない。その結果、多様な学習・テスト要件に応じて調整されたシナリオを効率的かつ柔軟に生成できない。そこで本研究では、敵対的シナリオ生成の課題を、多目的の嗜好（プレファレンス）整合問題として捉え直し、新たな枠組みである\textbf{S}teerable \textbf{A}dversarial scenario \textbf{GE}nerator（SAGE）を提案する。SAGEは、再学習を行うことなく、敵対性と現実性のトレードオフに関してテスト時のきめ細かな制御を可能にする。まず、データ効率の高いオフライン整合手法である階層的なグループベースの嗜好最適化を提案する。これは、困難な実現可能性制約（ハードなフィージビリティ制約）をソフトな嗜好から切り離すことで、競合する目的のバランスを取ることを学習する。固定のモデルを訓練する代わりに、SAGEは、反対の嗜好を持つ2つのエキスパートを微調整し、推論時にそれらの重みを線形補間することで、連続的な政策（ポリシー）のスペクトルを構築する。本枠組みについては、線形モード接続（linear mode connectivity）の観点から理論的な正当化を与える。大規模な実験の結果、SAGEは敵対性と現実性のより優れたバランスを備えたシナリオを生成するだけでなく、自動運転ポリシーのクローズドループ学習（閉ループ学習）をより効果的に可能にすることを示す。プロジェクトページ: https://tongnie.github.io/SAGE/。