クアッドロトルのロバストな安定化のためのカリキュラムに基づく、サンプル効率の高い強化学習

要旨: この記事では、クアドロトールの頑健な安定化のためにエンドツーエンド強化学習（RL）方策を訓練する、新しいサンプル効率の高いカリキュラム学習（CL）アプローチを紹介する。学習の目的は、モータRPMを直接制御（エンドツーエンド）することで、ランダムな初期条件から位置とヨー方位を同時に安定化しつつ、事前に指定された過渡状態および定常状態の仕様に従うことである。この目的は空中検査用途に関連しており、従来のワンステージのエンドツーエンドRLでは、膨大な計算資源と長い訓練時間が必要となるため困難である。そこで本記事では、この課題に対処するために、人間に着想を得たカリキュラム学習から着想を得て、学習目的を3段階のカリキュラムに分解し、各段階でタスクの複雑さを段階的に増やしながら、ある段階から次の段階へ知識を移す。提案するカリキュラムでは、方策は、独自の報酬関数とエピソード打ち切り条件を用いて、まずホバリングを学び、次に並進自由度と回転自由度の結合を学び、さらにゼロでないランダムな初期速度に対する頑健性を順に学習する。結果は、同一の報酬関数とハイパーパラメータを用いて従来のワンステージで訓練した方策と比較して、提案するCLアプローチが優れた性能を達成し、計算資源（サンプル）と収束時間を大幅に削減できることを示している。CLで訓練した方策の性能と頑健性は、シミュレーションエンジン（Gym-PyBullet-Drones）において、ランダムな初期条件の下で、ならびに検査のポーズ追跡シナリオにおいて、徹底的に検証されている。結果を示すビデオは https://youtu.be/9wv6T4eezAU で公開している。