非線形ロボットシステムに対する線形コープマン・ダイナミクスを用いた効率的強化学習

要旨: 本論文は、非線形ロボットシステムの最適な閉ループ制御のための、モデルベース強化学習（RL）フレームワークを提示する。提案手法は、Koopman作用素理論を通じて線形のリフト化ダイナミクスを学習し、その結果得られたモデルを、パラメータ化された閉ループ制御器を表す方策の最適化のためのアクタークリティック（actor-critic）アーキテクチャに統合する。計算コストを削減し、モデルのロールアウト誤差を緩和するために、方策勾配は、学習したダイナミクスの多段階伝播ではなく、1ステップ予測を用いて推定する。これにより、ストリーミングされた相互作用データから方策改善を可能にするオンラインのミニバッチ方策勾配フレームワークが実現される。提案フレームワークは、いくつかのシミュレーション上の非線形制御ベンチマークおよび、Kinova Gen3 ロボットアームと Unitree Go1 四足歩行ロボットを含む2つの実世界のハードウェアプラットフォームで評価される。実験結果は、モデルフリーRLのベースラインに対してサンプル効率が向上すること、モデルベースRLのベースラインに比べて制御性能が優れていること、そして正確なシステムダイナミクスに依存する古典的なモデルベース手法と同程度の制御性能を達成することを示している。