D-SPEAR：安定した強化学習のための双方向ストリーム優先度付き経験リプレイ（Dual-Stream Prioritized Experience Adaptive Replay）—ロボットによる操作タスク向け

Abstract

強化学習にとって、接触に富むダイナミクス、長いホライゾン、学習の不安定性のために、ロボットによる操作は依然として困難です。シミュレーションではSACやTD3のようなオフポリシーのアクター-クリティック手法がよく機能する一方で、現実的な環境では、経験リプレイ戦略がアクターとクリティックで異なるデータ要求を無視していることに一部起因して、方策の振動や性能の崩壊にしばしば見舞われます。我々はD-SPEAR：Dual-Stream Prioritized Experience Adaptive Replay（双方向ストリーム優先度付き経験適応リプレイ）を提案します。これは、共有リプレイバッファを維持しつつ、アクターとクリティックのサンプリングを分離するリプレイの枠組みです。クリティックは効率的な価値学習のために優先度付きリプレイを活用し、一方アクターは方策最適化を安定化するために低誤差の遷移を用いて更新されます。適応アンカー機構により、TD誤差の変動係数に基づいて一様サンプリングと優先度付きサンプリングのバランスを取ります。また、Huberベースのクリティック目的関数により、報酬スケールが異なる（ヘテロな）状況下でも頑健性がさらに向上します。robosuiteベンチマークから、Block-Lifting（ブロック持ち上げ）およびDoor-Opening（ドア開閉）を含む困難なロボット操作タスクでD-SPEARを評価します。その結果、D-SPEARは、最終性能と学習安定性の両方において、SAC、TD3、DDPGを含む強力なオフポリシー基準手法を一貫して上回ることが示されます。さらに、アブレーション研究により、アクター側リプレイストリームとクリティック側リプレイストリームの補完的な役割が確認されます。