運動学から動力学へ：物理的に実行可能な実行のためのハイブリッド計画を洗練する学習

要旨: 多くのロボットタスクにおいて、エージェントはミッションを完了するために一連の空間領域を移動する必要があります。これらの問題は本質的に離散—連続の混合問題です。すなわち、高レベルの行動（アクション）列と、物理的に実現可能な連続軌道（トラジェクトリ）です。得られる軌道と行動列は、締切、時間窓、速度または加速度の上限といった問題の制約も満たす必要があります。ハイブリッド時間計画（テンポラルプランナ）はこの課題に対処しようとしますが、典型的には運動を線形（一次）ダイナミクスとしてモデル化します。そのため、結果として得られる計画がロボットの真の物理的制約を満たすことは保証できません。結果として、高レベルの行動列が固定されていても、動的に実現可能な軌道を生成することは二階層（バイレベル）の最適化問題になります。本研究では、この問題を連続空間における強化学習によって扱います。我々は解析的な二次（セカンドオーダー）の制約を明示的に組み込んだマルコフ決定過程を定義し、それを用いてハイブリッド計画器によって生成された一次（ファーストオーダー）プランを洗練（リファイン）します。提案手法の結果は、このアプローチが物理的実現可能性を確実に回復でき、さらに、計画器の初期の一次軌道と、実機での実行に必要なダイナミクスとのギャップを効果的に埋められることを示しています。