分散ネットワークにおけるエネルギー貯蔵システムの最適運用のためのトポロジーを意識したグラフ強化学習

要旨: 配電網におけるエネルギー貯蔵システム（ESS）の最適な運用指令は、時間変動する条件や可能なトポロジ変更のもとで、運用経済性と電圧の安全性を同時に改善することを伴います。高速なオンライン意思決定を支援するために、本研究では、ツイン・ディレイド・ディープ決定論的ポリシー勾配（Twin Delayed Deep Deterministic Policy Gradient: TD3）に基づく、トポロジを考慮した強化学習アーキテクチャを開発します。このアーキテクチャでは、ESS運用指令のためのグラフ特徴エンコーダとしてグラフニューラルネットワーク（GNN）を統合します。34バス系および69バス系に対して、3種類のGNNバリアント――グラフ畳み込みネットワーク（GCNs）、トポロジ適応型グラフ畳み込みネットワーク（TAGConv）、グラフ注意ネットワーク（GATs）――を対象とし、トポロジ再構成ケースを複数適用した場合の頑健性と、異なる系統サイズをもつネットワーク間でのクロスシステム転移を評価する、体系的な検討を行います。その結果、GNNベースのコントローラは一貫して電圧違反の件数およびその大きさを低減し、特に69バス系および再構成下でより明確な利点が見られます。69バス系においては、TD3-GCNおよびTD3-TAGConvは、NNベースラインだけでなく、NLPベンチマークに対しても、節約できたコストがより低いことを達成します。また、転移による利得はケース依存であり、本質的に異なる系間でのゼロショット転移では、顕著な性能劣化と電圧大きさの違反の増加が生じることを示します。本研究は以下で利用可能です: https://github.com/ShuyiGao/GNNs_RL_ESSs および https://github.com/distributionnetworksTUDelft/GNNs_RL_ESSs。