RE-SAC: バス車両群制御におけるアレータリック不確実性とエピステミック不確実性の分離—安定かつ堅牢なアンサンブルDRLアプローチ

Abstract

バスの待機制御は、確率的な交通と乗客需要のために困難である。深層強化学習（DRL）は有望だが、標準的なアクター-クリティックアルゴリズムは、揺れ動く環境でQ値の不安定性に悩まされる。この不安定性の主な原因は、二つの異なる不確実性の混同である：aleatoric不確実性（不可避ノイズ）とepistemic不確実性（データ不足）。これらを単一のリスクとして扱うと、ノイズの多い状態で値が過小評価され、致命的なポリシー崩壊を招く。これらの不確実性を明示的に分離する、ロバストなアンサンブル・ソフト・アクター-クリティック（RE-SAC）フレームワークを提案する。RE-SACは、IPM（Integral Probability Metric）ベースの重み正則化をクリティックネットワークに適用し、aleatoricリスクに対するヘッジを提供し、コストのかかる内部ループの摂動を用いずにロバストベルマン演算子の滑らかな解析的下限を提供する。epistemicリスクに対処するため、多様化されたQアンサンブルが、希薄にカバーされた領域での過信的な値推定を抑制する。この二重の機構は、アンサンブル分散がノイズをデータ欠損として誤認するのを防ぎ、我々のアブレーション研究で特定された故障モードを回避する。現実的な双方向バス回廊のシミュレーション実験により、RE-SACは通常のSAC（-0.55e6）と比較して最高の累積報酬を達成することを示す（約 -0.4e6）。マハラノビス希少性分析は、RE-SACが希少な分布外状態でOracle Q値推定誤差を最大62%削減することを確認し（MAEは1647対4343）、交通量の高い変動性下での優れたロバスト性を示している。