ARROW: ロバストな世界モデルのための拡張リプレイ

要約:
継続的強化学習は、過去のタスクと将来のタスクの両方で性能を向上させることを目標に、エージェントに新しいスキルを習得させつつ、既に学習したスキルを保持させる課題です。多くの既存手法は、壊滅的忘却を緩和するためにリプレイバッファを用いたモデルフリー手法に依存しています。しかし、これらの解法は大きなメモリ要求により、しばしば大規模性の課題に直面します。神経科学から着想を得て、脳が経験を予測的な世界モデルへリプレイするのに対し、ポリシーへ直接ではない点を取り入れた ARROW (Augmented Replay for RObust World models) を提示します。これは DreamerV3 を拡張し、メモリ効率の高い分布マッチングリプレイバッファを備えたモデルベースの継続的RLアルゴリズムです。標準の固定サイズ FIFO バッファとは異なり、ARROW は2つの補完的なバッファを維持します。最近の経験のための短期バッファと、知的なサンプリングによってタスクの多様性を保持する長期バッファです。ARROW を、2つの難易度の高い継続的RL設定で評価します。1つは共通構造を持たないタスク（Atari）、もう1つは共通構造を持つタスクで、知識転送が可能なもの（Procgen CoinRun の変種）です。同サイズのリプレイバッファを備えたモデルフリーおよびモデルベースのベースラインと比較して、ARROW は共通構造を持たないタスクで忘却を著しく低減しつつ、前方転移を同程度維持します。本研究の結果は、モデルベースRLと生体由来のリプレイ手法が継続的強化学習において潜在的な可能性を示すものであり、さらなる研究が必要であることを示しています。