カプセル：安全な不確実性認識強化学習のための制御理論に基づく行動摂動

要旨: 既知でないダイナミクスを伴う高次元システムにおいて安全な探索を確実に行うことは、依然として大きな課題である。既存の安全強化学習手法の多くは、安全性の保証を期待値のもとでのみ与えるため、依然として安全性の違反につながり得る。これに対して制御理論に基づくアプローチは、ハードな制約に基づく安全性保証を提供できる一方で、通常は既知のシステムダイナミクスへのアクセスを仮定するか、あるいは制御アフィンモデルを正確に推定することを要求する。　本論文では、オフライン設定で確率的な制御アフィンのダイナミクスモデルを学習する、安全強化学習の枠組みを提案する。学習したモデルを活用し、モデルの不確実性を組み込んだ制御バリア関数（CBF）を明示的に構成することで、保守的な安全制約を提供する。これらのCBF制約は、オンラインの制約ベースの行動補正メカニズムによって強制されるため、課題の遂行性能を過度に制限することなく安全な探索が可能となる。非線形で複雑な連続制御ベンチマークに関する実験評価により、提案手法は既存のベースラインと同等のリターンを達成しつつ、安全性の違反を大幅に低減できることを示す。