効率的な歩行学習のための対称性ガイド付きメモリ拡張（SGMA）

Abstract

腹側歩行などの脚型ロコモーションに対する強化学習（RL）ポリシーの学習には、しばしば膨大な環境との相互作用が必要であり、それはコストが高く、時間もかかります。そこで本研究では、構造化された経験の拡張と、メモリに基づく文脈推論を組み合わせることで学習効率を高める枠組みである、Symmetry-Guided Memory Augmentation（SGMA）を提案します。提案手法は、ロボットとタスクの対称性を活用して、追加の相互作用を必要とせずに、追加の物理的に整合した学習経験を生成します。素朴な拡張に伴う落とし穴を避けるために、これらの変換をポリシーのメモリ状態にも拡張し、エージェントがタスクに関係する文脈を保持し、それに応じて行動を適応させられるようにします。本手法を、シミュレーション上の四足ロボットおよび二足（ヒューマノイド）ロボット、ならびに実機の四足プラットフォームで評価します。関節の故障やペイロードの変動を含む多様な移動タスクにおいて、我々の方法は頑健な性能を維持しつつ効率的なポリシー学習を達成し、脚型ロボットに対するデータ効率の高いRLへの実用的な道筋を示しています。