エージェント駆動型自律強化学習研究：四足歩行のための反復的な方策改善

Abstract

本論文は、四足歩行のためのエージェント駆動による自律強化学習研究に関するケーススタディを記録する。対象設定は、完全に自走で立ち上がる研究システムではなかった。人間がエージェント型コーディング環境を通じて高レベルの指示を提示し、一方でエージェントが実行ループの大部分を担った。すなわち、コードの読み取り、失敗の診断、報酬および地形設定の編集、ジョブの起動と監視、途中の指標の解析、そして次の一連の実験案の提案である。Isaac Lab上のDHAV1 12-DoF四足ロボットにおいて、十四の波に整理された70回超の実験を通じて、エージェントは平均報酬が約7程度の初期の荒れた地形での試行から進展し、最良としてログに残されたWave 12の実験exp063に到達した。exp063では、速度誤差が0.263であり、2000イテレーションを超える中でタイムアウトが97ashion% であった。また、異なるGPU環境で5回独立に再現された。アーカイブには、いくつかの具体的な自律研究上の意思決定も記録されている。箱や階段状のプリミティブを含む地形セットにおいて、PhysXのデッドロックを切り分けること、公開されている参照実装 \cite{deeprobotics, rlsar} から4つの報酬項を移植すること、Isaac Simのインポートおよびブートストラップの問題を修正すること、診断のために環境数を減らすこと、ハングした実行を停止すること、そして繰り返し地形=0.0の結果になったことを受けてHIMへの注力を切り替えること、などである。AutoResearchパラダイム \cite{autoresearch} と比べて、本ケーススタディは、マルチGPUでの実験管理およびシミュレータ固有のエンジニアリング制約を伴う、より失敗しやすいロボティクスRLの設定で動作している。本貢献は経験的かつ記録的である。すなわち、この領域において、エージェントが限定された人間の介入のもとで、反復的なRL研究ループを実質的に遂行できることを示すとともに、人間の指示がなおどこでアジェンダを形作っていたかを明確化する。