TwinLoop：オンライン型マルチエージェント強化学習のための、シミュレーション・イン・ザ・ループ・デジタルツイン

要旨: 分散型オンライン学習は、サイバーフィジカルなマルチエージェントシステムにおける実行時の適応を可能にしますが、運用条件が変化すると、学習済みポリシーは性能を回復するまでに相当量の試行錯誤を伴う相互作用を必要とすることがよくあります。これに対処するために、本研究ではオンラインマルチエージェント強化学習のためのシミュレーション・イン・ザ・ループ型デジタルツインの枠組みであるTwinLoopを提案します。コンテキストの変化が起きたとき、デジタルツインを起動して現在のシステム状態を再構築し、最新のエージェントポリシーから初期化し、物理システム内のエージェントに更新されたパラメータを同期する前に、シミュレーションによるwhat-if分析を用いて加速されたポリシー改善を行います。変動するワークロードとインフラ条件を伴う車両エッジコンピューティングのタスクオフロードシナリオにおいてTwinLoopを評価しました。その結果、デジタルツインは、シフト後の適応効率を改善し、高価なオンラインの試行錯誤への依存を低減できることが示唆されました。