ネットワーク化された人工膵臓システムに対するイベント駆動制御への深層強化学習の適用

Abstract

本論文は、ネットワーク化された人工膵臓（AP）システムに対する、深層強化学習（DRL）に基づくイベントトリガ型制御器設計を提案する。既存のDRLベースのAP制御器は一般に制御更新が周期的であることを仮定しているが、ネットワーク化制御システム（NCS）では、エネルギー効率のよい運用を達成するために通信頻度を低減する必要があり、それは制御更新と直接結び付いている。しかし、インスリン投与量と更新タイミングの両方を同時に学習すると、学習問題の複雑さが大幅に増大する。こうした複雑さを緩和するために、本論文では血糖値の変化により定義されるルールベースの判定基準を導入することで、更新タイミングを明示的に学習することを回避する、実用的なDRLベースの制御器設計を開発する。その結果、意思決定は不規則な間隔で行われ、問題は自然に半マルコフ決定過程（SMDP）として定式化される。そこで本研究では、このSMDPに対して標準的なDRLアルゴリズムを拡張する。数値実験により、提案手法は制御性能を維持しつつ通信効率を改善することが示される。