デジタルツインにおける誤差伝播抑制のための最適な逐次意思決定

要旨: ここでは、逐次的な意思決定プロセスとして、モジュール型デジタルツインにおける誤差伝播の抑制問題を探究する。潜在的な誤差レジームを、サロゲート物理の残差から推定するためにHidden Markov Model（HMM）を用いた関連研究を踏まえ、本研究では、推定されたレジームを状態とし、是正介入を行動とし、システムの忠実度と保守費用との費用対効果のトレードオフを考慮するスカラー報酬を導入したMarkov Decision Process（MDP）を構築する。基準となる遷移行列は、HMMによって学習されたパラメータから抽出する。さらに、この定式化を拡張し、ベイズフィルタリングによって更新される信念分布を維持することで、レジーム分類が不完全であるという性質を考慮したPartially Observable MDP（POMDP）を提案する。ここで、HMMの混同行列を観測モデルとして用いる。これらの2つの定式化は動的計画法によって解かれ、Gillespieの確率論的シミュレーションにより検証される。その上で、モデルを明示的に知らなくても有効な方策を学習できるかどうかを評価するために、2つのモデルフリー強化学習アルゴリズムであるQ-learningとREINFORCEをベンチマークする。異なる介入方策の系統的な比較により、MDP方策が累積報酬および通常運転に費やす時間の割合において最も高い性能を達成することが示される。また、POMDPは、現実的な観測ノイズの下でMDP性能をおよそ95%回復する。観測品質、修復確率、割引因子に関する感度分析により、これらの結論の頑健性が確認され、方策階層における主要なギャップはp < 0.001で統計的に有意である。MDPとPOMDPの性能差は、分類精度の向上に投資するべきかどうかのための、原理に基づく基準を情報として提供する価値を定量化する。