Smart Commander：大規模航空機フリートにおけるPHM意思決定最適化のための階層型強化学習フレームワーク

Abstract

軍用航空における意思決定は、機規模の大規模フリート運用における「次元の呪い」、加えて疎なフィードバックと確率的なミッションプロファイルの組み合わせにより、予測・健康管理（PHM）は大きな課題に直面している。これらの課題に対処するため、本論文では、逐次的な整備および後方支援（ロジスティクス）の意思決定を最適化することを目的とした新規の階層型強化学習（HRL）フレームワーク「Smart Commander」を提案する。提案フレームワークは、複雑な制御問題を2層の階層構造に分解する。すなわち、戦略的なGeneral Commanderがフリート全体の稼働可能性とコスト目標を管理し、戦術的なOperation Commandersが出撃生成、整備スケジューリング、ならびに資源配分のための具体的な行動を実行する。提案手法は、航空機の構成のダイナミクスと支援ロジスティクスを捉える、独自に構築された高忠実度離散事象シミュレーション環境内で検証される。層状のリワード・シェイピングと計画強化型ニューラルネットワークを統合することで、本手法は疎で遅延するリワードに起因する困難を効果的に解決する。実証評価により、Smart Commanderが従来の単一型モノリシック深層強化学習（DRL）およびルールベースのベースラインを大幅に上回ることが示される。とりわけ、失敗が起こりやすい環境において、高いスケーラビリティと頑健性を示しつつ、学習時間を大幅に削減することを達成する。これらの結果は、HRLが次世代のインテリジェントなフリート管理における信頼できるパラダイムとなり得る可能性を示している。