マルチステップの先行モデルによるDyna計画における価値の幻覚（Value Hallucination）の軽減

抄録: Dyna-style 強化学習（RL）エージェントは、環境モデルによって生成されたシミュレート経験で価値関数を更新することで、モデルフリーRLエージェントよりもサンプル効率を高めます。 しかし、環境ダイナミクスの正確なモデルを学習することはしばしば難しく、わずかな誤差でさえ Dyna エージェントの失敗につながることがあります。本論文では、その失敗の一つの潜在的な原因が、シミュレート状態の価値をブートストラップしてしまうことにある点を指摘し、その失敗を回避する新しい Dyna アルゴリズムを提案します。ここでは、後継（successor）モデルまたは前駆（predecessor）モデルを用いることで――前向きまたは後ろ向きにシミュレーションする――さらに 1 ステップ更新または多ステップ更新を用いる、という Dyna アルゴリズムの設計空間について議論します。これまでに 3 つの変種が調べられてきましたが、驚くべきことに第 4 の変種は調べられていませんでした。すなわち、多ステップ更新と前駆モデルの組み合わせです。私たちは mph{Hallucinated Value Hypothesis}mph（HVH）を提示します。これは、実状態の価値をシミュレート状態の価値へ更新すると、誤解を招く行動価値が生じ、それが制御方策に悪影響を及ぼし得る、という仮説です。私たちは、4 つの変種すべての Dyna を議論し評価します。そのうち 3 つは実状態をシミュレート状態へ（つまり、幻覚的な価値へ向かう可能性がある値へ）更新するのに対して、提案手法はそれを行いません。実験結果は HVH の裏付けを与え、前駆モデルと多ステップ更新を用いることが、モデル誤差に対してより頑健な Dyna アルゴリズムを開発する上で有望な方向性であることを示唆します。