微分可能なダイナミクスによる軌道および方策最適化のための、テンプルド逐次モンテカルロ

Abstract

微分可能なダイナミクスのもとで、有限ホライゾンの軌道およびポリシー最適化を行うためのサンプリングベースの枠組みを提案する。具体的には、コントローラ設計を推論問題として定式化することで実現する。特に、KL正則化された期待軌道コストを最小化する。これにより、温度を下げるにつれてコストの低い解に集中する、コントローラパラメータ上の最適な「ボルツマン傾斜（Boltzmann-tilted）」分布が得られる。 この鋭く、場合によっては多峰性である目標分布から効率的にサンプルするために、温度付き逐次モンテカルロ（TSMC）を導入する。TSMCは、事前分布から目標分布へと至るテンパリング経路に沿って粒子の重み付けと再サンプリングを適応的に行うアニーリング手法である。さらに、ハミルトニアンモンテカルロによるリジュベネーションを用いることで多様性を維持し、軌道ロールアウトを通して微分することにより得られる正確な勾配を活用する。 ポリシー最適化のために、TSMCを（i）初期状態分布の決定論的な経験的近似、および（ii）ロールアウトのランダム性を補助変数として扱う拡張空間の構成、の2点により拡張する。軌道およびポリシー最適化のベンチマークにまたがる実験により、TSMCが広く適用可能であり、最先端のベースラインと比べて良好な性能を示すことが分かる。