確率的ニューラルネットワークのダイナミクスに対する不確実性を考慮した予測型安全フィルタ

Abstract

予測的安全フィルタ（PSF）は、深層強化学習（RL）の探索中に制約充足を強制するためにモデル予測制御を活用しますが、第一原理モデルやガウス過程への依存があるため、スケーラビリティやより広範な適用性が制限されます。一方で、モデルベースRL（MBRL）手法では、確率的アンサンブル（PE）ニューラルネットワークが、最小限の事前知識でデータから複雑で高次元なダイナミクスを捉えるために日常的に用いられています。しかし、既存のPEをPSFに統合する試みには、厳密な不確実性の定量化が欠けています。私たちは、不確実性を考慮した予測的安全フィルタ（UPSi）を提案します。UPSiは、到達可能集合として将来の結果を定式化することで、PEダイナミクスモデルにより厳密な安全予測を行うPSFです。UPSiは、モデルの悪用（モデルエクスプロイト）を防ぐ明示的な確実性制約を導入し、一般的なMBRLフレームワークにシームレスに統合できます。私たちは、標準的な安全性重視のRLベンチマーク上で、Dyna-style MBRLにおいてUPSiを評価し、従来のニューラルネットワークPSFに比べて探索の安全性が大幅に改善することを報告します。また、標準的なMBRLと同等の性能を維持しています。UPSiは、現代的なMBRLのスケーラビリティと汎用性のギャップ、ならびに予測的安全フィルタの安全性保証を橋渡しします。