確率的リセットは強化学習におけるポリシー収束を加速する

Abstract

確率的リセットとは、ダイナミカルな過程が断続的に固定の参照状態へ戻される現象で、初回到達時間の最適化を目的とする強力な機構として浮上してきました。既存の理論は主に静的で、学習を伴わない過程を扱います。ここで、確率的リセットが経験を通じて基礎となるダイナミクスが適応する強化学習とどのように相互作用するかを問います。表形式のグリッド環境では、リセットが方策の収束を加速することを見出します。それが純粋に拡散的なエージェントの探索時間を短縮しない場合でも、古典的な初回到達時間の最適化を超える新しい機構を示唆します。ニューラルネットワークベースの価値推定を用いた連続制御タスクでは、探索が困難で報酬が希薄な場合に、ランダムなリセットが深層強化学習を改善することを示します。時間割引とは異なり、リセットは最適な方策を保持しつつ、長くて無情報的な軌道を切り捨てることによって収束を加速し、価値伝搬を高めます。我々の結果は、確率的リセットを学習を加速させるための単純で調整可能な機構として確立し、統計力学の標準的な現象を強化学習の最適化原理へ翻訳します。