WM-DAgger：世界モデルによる模倣学習のための効率的なデータ集約を可能にする

Abstract

模倣学習はロボットの制御方策を訓練するための強力な枠組みですが、その性能は誤差の増幅によって制限されます。すなわち、わずかな方策の不正確さが、訓練データセット内では見られない分布外（OOD）の状態へロボットを導いてしまう可能性があり、その状態では方策がさらに大きな誤差を生成することになります。結果として、最終的に失敗へ至ります。Data Aggregation（DAgger）という枠組みはこの問題への対処を試みますが、学習プロセスにおける継続的な人手介入への依存は、スケーラビリティを大幅に制限します。本論文では、人手を介入させることなくWorld Modelsを活用してOOD回復データを合成する、効率的なデータ集約フレームワークであるWM-DAggerを提案します。具体的には、アイ・ハンド（手先視）型のロボットアームによる操作タスクを対象とし、さらにデモンストレーションは少数（few-shot）のみを用います。誤解を招くデータを合成してしまうことを避け、World Modelsに内在する幻覚（hallucination）の問題を克服するために、本フレームワークでは2つの主要な仕組みを導入します：（1）誤った教師信号を防ぐために、タスクに特化した回復行動を生成するCorrective Action Synthesis Module、ならびに（2）専門家デモンストレーションにおける対応する実フレームへ終端の合成フレームをアンカーすることで、物理的に実現不可能な軌道を破棄するConsistency-Guided Filtering Moduleです。我々は、WM-DAggerを複数の実世界ロボットタスクに対して徹底的に検証しました。その結果、提案手法は成功率を大きく改善し、デモンストレーション5件のみでソフトなバッグ（bag）押しにおいて93.3の成功率を達成しました。ソースコードは https://github.com/czs12354-xxdbd/WM-Dagger で公開されています。