非定常環境における安全な継続的強化学習

Abstract

強化学習（RL）は、正確な物理モデルが利用できない複雑なシステムに対して、データ駆動型の制御器合成という魅力的なパラダイムを提供します。しかし、既存の制御志向の多くのRL手法は定常性を前提としているため、システムのダイナミクスや運用条件が予期せず変化し得る、実世界の非定常なデプロイでは困難に直面します。さらに、物理環境で行動するRLコントローラは、学習フェーズおよび実行フェーズのいずれにおいても安全制約を満たす必要があり、適応中の一時的な違反は許容できません。継続的RLと安全なRLはいずれも、それぞれ非定常性と安全性に取り組んできましたが、その交差領域はいまだ比較的十分に調査されていません。そこで本研究では、安全性を維持しながらシステムのライフタイムにわたって適応できる、安全な継続的RLアルゴリズムの研究を動機として取り上げます。本研究では、安全性に配慮した継続的強化学習を体系的に調べるために、安全性が重要となる継続的適応を捉える3つのベンチマーク環境を導入し、安全なRL、継続的RL、そしてそれらの組み合わせから代表的なアプローチを評価します。実験結果は、非定常なダイナミクスのもとで安全制約を維持することと壊滅的忘却を防ぐことの間に、根本的な緊張関係があることを明らかにします。既存手法は概して、これら2つの目的を同時に達成できていません。この欠点に対処するために、トレードオフを部分的に緩和する正則化ベースの戦略を検討し、それらの利点と限界を特徴づけます。最後に、変化する環境下で持続的な自律運転を可能にする、安全でレジリエントな学習ベース制御器を開発するための重要な未解決課題と研究方向性を概説します。