モデルベース強化学習が受動的な身体ダイナミクスを活用し、高性能な二足ロボット歩行を実現

arXiv cs.RO / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、二足ロボットの受動的な身体ダイナミクス（例：スプリング）を活かし、モデルベース深層強化学習によって歩行・走行を実現できるかを検討しています。
シミュレーション上で、受動要素ありモデルと受動要素なしモデルの2つを比較し、受動要素ありモデルの学習挙動がシステムのアトラクタ・ダイナミクスに強く影響されることを示しました。
受動モデルでは軌道がリミットサイクルへ素早く収束する一方で、大きな報酬を得るまでにはより長い時間がかかりました。
アトラクタに導かれる学習によって獲得された移動は、頑健性とエネルギー効率が高く、身体と地面の相互作用で生まれる安定したリミットサイクルが有利に働くことが分かりました。
著者らは、これらの結果が、将来のエンボディドAIでは受動的な物理特性を身体に組み込む重要性を裏付けると主張しています。

要旨: 身体性（Embodiment）は、近年の機械学習分野における重要なキーワードである。本研究では、モデルベース深層強化学習を用いて二足歩行ロボットの歩行および走行の移動を生成するために、身体の受動的な性質に着目した。シミュレータ上に2つのモデルを構築した。1つは受動要素（例：ばね）を備えたものであり、もう1つは一般的なヒューマノイドに類似しているが受動要素を備えないものである。受動要素を有するモデルの学習は、システムのアトラクタ（引き込み先）に強く影響された。これにより、軌道は素早く極限周期に収束したものの、大きな報酬を得るまでには長い時間を要した。しかし、アトラクタに導かれる学習のおかげで、獲得された移動は頑健でエネルギー効率が高かった。結果は、受動要素を備えたロボットが、身体と地面との動的相互作用によって生成される安定した極限周期を利用することで、効率よく高性能な移動を獲得できることを明らかにした。本研究は、将来の身体性AI（embodied AI）に向けて、身体に受動的な性質を実装することの重要性を示している。