CACTO-SL：Sobolev学習を用いた軌道最適化による連続アクター・クリティックの改善

Abstract

trajectory Optimization（TO）と強化学習（RL）は、最適制御問題を解くための強力かつ補完的な手法である。一方で、TOは局所的に最適な解を効率よく計算できるが、問題が凸でない場合には局所的な最小値に行き詰まりがちである。もう一方で、RLは一般に非凸性への感度が低いが、その代わりに計算努力ははるかに大きくなる。最近、我々はCACTO（Continuous Actor-Critic with Trajectory Optimization）を提案した。これはTOを用いてアクター・クリティック型RLアルゴリズムの探索を導く手法である。さらに、アクターによって符号化された方策を用いてTOをウォームスタートすることで、TOとRLの間のループを閉じる。 本研究では、Sobolev学習の考え方を活用したCACTOの拡張を提示する。批評家（クリティック）ネットワークの学習をより高速かつデータ効率良くするために、微分動的計画法アルゴリズムの後ろ向きのパスによって計算される価値関数の勾配を、それに付加する。我々の結果は、新しいアルゴリズムが元のCACTOよりも効率的であり、TOエピソード数を3倍から10倍の範囲で削減し、その結果計算時間も削減できることを示す。さらに、CACTO-SLがTOにより良い極小値を見つけさせ、より一貫した結果を生み出すのに役立つことも示す。