Unicorn：汎用かつ協調的な強化学習アプローチによる、汎化可能なネットワーク全体の信号制御

要旨: 適応的信号制御（ATSC）は、急速に成長する都市部において、渋滞を減らし、スループットを最大化し、モビリティを向上させるために重要である。近年、パラメータ共有型のマルチエージェント強化学習（MARL）に関する進展は、大規模な同質ネットワークにおける複雑で動的な流れの、スケーラブルで適応的な最適化を大きく高めてきた。しかし、実世界の交通ネットワークが本質的に持つ異質性、すなわち多様な交差点のトポロジーや相互作用ダイナミクスの違いは、異なる交通状況にわたってスケーラブルで効果的なATSCを達成するうえで大きな課題となる。これらの課題に対処するために、我々は、ネットワーク全体のATSCを効率的かつ適応的に行うための、ユニバーサルかつ協調的なMARLフレームワークであるUnicornを提案する。具体的には、まず、交通の動きに基づいて、トポロジーが異なる交差点の状態と行動を共通の構造へ写像するための統一的なアプローチを提案する。次に、一般的な特徴抽出のためのデコーダのみのネットワークを用いたUniversal Traffic Representation（UTR）モジュールを設計し、モデルの多様な交通状況に対する適応性を高める。さらに、変分推論技術を用いて、その交差点固有のトポロジーと交通ダイナミクスを表す重要な潜在ベクトルを同定することを目的とした、Intersection Specifics Representation（ISR）モジュールを組み込む。これらの潜在表現をさらに洗練させるために、教師なしの自己教師あり方式でコントラスト学習を採用し、交差点固有の特徴をより適切に区別できるようにする。加えて、近傍エージェントの状態と行動の依存関係を方策最適化に統合し、動的なエージェント相互作用を効果的に捉えるとともに、効率的な地域協調を促進する。[…]. コードは https://github.com/marmotlab/Unicorn で利用可能である