SARM：長期ロボットマニピュレーションのための段階対応報酬モデリング

Abstract

大規模ロボット学習は複雑なマニピュレーション課題で進展を遂げているものの、とりわけ変形可能物体を扱うような、長いホライゾンかつ接触が豊富な問題は、デモンストレーションの品質が一貫しないことに起因して依然として難しいままです。私たちは、タスクの進行段階ときめ細かな進捗をともに予測する、段階を意識した動画ベースの報酬モデリングの枠組みを提案します。可変長のデモンストレーションに対して一貫したラベルを導くために、自然言語によるサブタスク注釈を用います。これにより、フレームインデックスに基づくラベリングの脆さを回避し、Tシャツのたたみ込みのような課題でも安定した教師信号を提供できます。私たちの報酬モデルはデモンストレーションのばらつきに対して頑健であり、分布外の状況へも一般化でき、下流の方策学習を改善します。さらにこれを基に、報酬整合型行動模倣（Reward-Aligned Behavior Cloning; RA-BC）を導入します。これは、報酬推定に基づいてデモンストレーションをフィルタリングし、重み付けし直します。実験の結果、提案手法は実環境でのロールアウトと人手による検証の両方において、ベースラインを大幅に上回ることが示されました。Tシャツのたたみ込みでは、平らな状態から83%の成功率、しわの寄った状態から67%の成功率を達成しました。これは、バニラのBCでの8%および0%と比べて大きく改善しています。全体として、私たちの結果は、報酬モデリングが長いホライゾンのロボットによるマニピュレーションに対する、スケーラブルで注釈効率の高い解決策であることを示しています。プロジェクトWebサイト: https://qianzhong-chen.github.io/sarm.github.io/