ExpertGen：不完全な行動事前分布からのスケーラブルなシミュレーション・ツー・リアル向けエキスパート方策学習

概要: 一般化可能で堅牢な振る舞いのクローン（behavior cloning）方策を学習するには、大量の高品質なロボティクスデータが必要である。人間のデモンストレーション（例：テレオペレーションによるもの）は専門家の振る舞いの標準的な情報源となる一方で、現実世界でそのようなデータを大規模に獲得することは、費用面で非常に過酷である。本論文では、シミュレーション上で専門家方策学習を自動化し、スケーラブルな sim-to-real（シムから実機への移行）を可能にする枠組み ExpertGen を提案する。ExpertGen はまず、不完全なデモンストレーションによって学習された拡散（diffusion）方策を用いて行動事前分布（behavior prior）を初期化する。このデモンストレーションは、大規模言語モデルによって合成され得るか、あるいは人間によって提供され得る。次に強化学習を用いて、元の方策を凍結したまま、拡散モデルの初期ノイズを最適化することで、この事前分布を高いタスク成功へと誘導する。事前学習済みの拡散方策を凍結することで、ExpertGen は探索を安全で人間らしい振る舞いのマンフォールド内に留めるよう正則化すると同時に、疎な報酬のみでも効果的に学習できるようにする。困難なマニピュレーションベンチマークに対する実証評価により、ExpertGen は報酬設計（reward engineering）を一切行うことなく、高品質な専門家方策を確実に生成できることが示される。産業用の組立タスクでは ExpertGen は総合成功率 90.5% を達成し、長い時間軸を持つマニピュレーションタスクでは総合成功率 85% に到達し、すべてのベースライン手法を上回る。得られた方策は器用な制御を示し、多様な初期状態設定や失敗状態に対しても堅牢である。sim-to-real 移行を検証するため、学習された状態ベースの専門家方策はさらに DAgger を用いて visuomotor 方策へ蒸留され、実際のロボット実機へ正常に展開される。