送電網運用のための、実行時セーフティ・シールディングを伴う階層型強化学習

要旨: 強化学習は、トポロジー制御や輻輳管理のような電力系統運用タスクを自動化するために有望であることが示されている。だが、実世界の電力システムへの導入は、厳格な安全要件、まれな擾乱に対する脆さ（brittleness）、および未見の系統トポロジーへの貧弱な汎化性能によって依然として制限されている。安全性が重大なインフラでは壊滅的な失敗は許容できず、学習ベースの制御器は硬い（厳密な）物理的制約の範囲内で動作しなければならない。
本論文は、電力系統運用のための安全制約付き階層型制御フレームワークを提案する。この枠組みでは、長期の意思決定と、実時間の実行可能性（feasibility）強制とを明示的に切り離す。高位の強化学習ポリシーが抽象化された制御アクションを提案し、一方で決定論的な実行時安全シールドが高速な前進シミュレーションを用いて危険なアクションをフィルタリングする。安全性は、ポリシーの品質や学習分布に依存せず、実行時の不変条件（runtime invariant）として強制される。
提案フレームワークは、名目条件下、強制的な回線停止（line-outage）によるストレステスト、および再学習なしでICAPS 2021の大規模送電グリッドへのゼロショット展開において、Grid2Opベンチマーク群で評価される。その結果、平坦な強化学習ポリシーはストレス下で脆くなる一方、安全性のみの手法は過度に保守的であることが示された。対照的に、提案する階層型で安全性を考慮したアプローチは、エピソードの生存時間がより長くなり、回線の最大負荷（ピークのライン負荷）が低く抑えられ、未見の系統への堅牢なゼロショット汎化を達成した。
これらの結果は、電力系統制御における安全性と汎化は、報酬設計をますます複雑にするよりも、アーキテクチャ設計によって最も良く実現できることを示しており、実世界のエネルギーシステム向けの、導入可能な学習ベース制御器への実践的な道筋を提示する。