粗視化されたアドバイザリ自律性を用いた交通最適化のための時間的転移学習

Abstract

連結・自動運転車（CAV）技術の最近の発展により、車両の速度と交通流量を最大化するために、密な都市交通を最適化することについての調査が促進されてきた。本論文では、人間の運転手に対してリアルタイムの運転支援アドバイスを発行する「助言型自律（advisory autonomy）」を探究する。これにより、自動運転車の近い将来における性能を達成することができる。交通システムの複雑さゆえに、CAVを協調させるための最近の研究では、深層強化学習（RL）を活用することが多い。粗い粒度のアドバイスはゼロ次ホールドとして形式化され、ホールド時間の範囲は0.1秒から40秒までを考える。しかし、CAVにおける高頻度タスクの類似性にもかかわらず、深層RLをアドバイザリ自律課題へ直接適用することは汎化に失敗する。これを克服するために、ゼロショット転移を用いる。つまり、ホールド時間が指定された特定の交通シナリオからなる一群の「ソース課題」で方策を学習し、その後、それらの方策を異なる「ターゲット課題」で評価する。ゼロショット転移のためのソース課題を選択するTemporal Transfer Learning（TTL）アルゴリズムを提案し、時間的構造を体系的に活用して、タスク全範囲を解く。TTLは、タスク範囲にわたる性能を最大化するために、最も適したソース課題を選択する。多様な混合交通シナリオでアルゴリズムを検証した結果、TTLはベースラインよりも確実にタスクを解けることを示す。本論文は、交通流最適化において、TTLを伴う粗い粒度の助言型自律の可能性を強調する。