学習しながら展開する：汎用ロボット方策のためのフリート規模強化学習

要旨: 汎用ロボットの方策は、大規模な事前学習の恩恵をますます受けつつありますが、オフラインデータだけでは堅牢な実世界展開に不十分です。実際に配備されたロボットは、分布のずれ、ロングテールな失敗、タスクの多様性、人による修正の機会に直面しますが、固定されたデモンストレーション用データセットではそれらを十分に捉えきれません。私たちは、汎用ビジョン-言語-行動（VLA）方策の継続的な事後学習のための、フリート規模のオフラインからオンラインへの強化学習フレームワーク「Learning While Deploying（LWD）」を提案します。事前学習済みのVLA方策から出発し、LWDは、自律的ロールアウトと、ロボットフリート全体で収集された人間の介入を用いることで、配備、共有される物理的経験、方策の改善、再配備の間のループを閉じます。異質で疎な報酬を伴うフリートデータからの学習を安定化するために、LWDは、堅牢な価値推定のためのDistributional Implicit Value Learning（DIVL）と、フローベースのVLAアクション生成器における方策抽出のためのAdjoint MatchingによるQ-learning（QAM）を組み合わせます。実験では、実世界の8つのマニピュレーション課題に対して、デュアルアームロボット16台からなるフリートでLWDを検証します。そこには、セマンティックな食料品の補充や、3〜5分の長い時間軸を持つ課題が含まれます。フリートの経験が蓄積されるにつれて、単一の汎用方策は向上し、平均成功率95%に到達します。特に、長時間軸課題で最大の改善が見られます。