要素レベルの橋梁ライフサイクル最適化のための解釈可能な深層強化学習

Abstract

2022年から有効となる新しいナショナル・ブリッジ・インベントリ（SNBI）の仕様は、リスクに基づく橋梁管理のために、要素レベルのコンディション・ステート（CS）を用いることを強調している。一般的な部材（コンポーネント）の評価ではなく、要素レベルのコンディションデータでは、相対的なCS量の配列（すなわちCSの割合）を用いて橋梁の状態を表す。これにより橋梁の状態データの粒度は大きく向上する一方で、状態空間が「単一のカテゴリ整数」から「4次元の確率配列」へと拡張されるため、最適なライフサイクル方針を設定することが難しくなる。本研究では、要素レベルの状態表現に基づいて最適なライフサイクル方針を探索する、新たで解釈可能な強化学習（RL）アプローチを提案する。既存のRL手法と比較して、提案アルゴリズムは、適切な数のノードと深さをもつ斜め分岐（oblique）決定木の形でライフサイクル方針を生成し、そのため方針は人間にとって直接理解可能かつ監査可能であり、現在の橋梁管理システムにも容易に実装できる。準最適な方針を達成するために、提案アプローチでは、既存のRL手法に対して3つの主要な改善を導入する：（a）俳優（actor）関数近似器として微分可能なソフト決定木モデルを用いること、（b）学習中に温度アニーリングのプロセスを導入すること、（c）政策（ポリシー）の複雑さを制限するために、正則化と刈り込み（pruning）規則を組み合わせること。これらの改善により、決定論的な斜め分岐決定木の形で解釈可能なライフサイクル方針を得ることができる。これらの手法による利点とトレードオフは、教師あり学習と強化学習の両方の設定で示される。得られた枠組みは、鋼製ガーダ橋のライフサイクル最適化問題において例示される。