Forager：部分観測下の強化学習における継続学習のための軽量テストベッド
arXiv cs.LG / 2026/5/5
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- Foragerは、計算コストの高いシミュレーションを避けつつ、部分観測を伴う大規模な環境で継続強化学習（CRL）を検証するための軽量テストベッドとして提案されます。
- 本研究は、従来のCRL研究が「可塑性の喪失（学習を続けられないこと）」の抑制に主に焦点を当て、部分観測や、メモリ／再帰を用いるエージェントの役割を十分に検討してこなかった点を指摘しています。
- Foragerは一定のメモリ使用量（定常的なメモリフットプリント）で構成されており、繰り返し実験がしやすい一方で、既存のCRLエージェントにとって難しい課題設定になっています。
- 実験の結果、エージェントは可塑性の喪失を示し、提案された緩和策もある程度は有効ですが、最も効果的なのは状態構築（有益な内部表現の作り込み）であることが示されています。
- さらにForagerの派生として、新しいタスクを際限なく生成するバリアントも提示されており、現在のCRL手法の限界をより明確に浮き彫りにします。
