単一モデルの最適化を超えて：継続的強化学習におけるプラスティシティの維持

Abstract

継続的強化学習では、保持（retention）と適応（adaptation）の両立が必要ですが、多くの手法は依然として mph{単一モデルの保存（single-model preservation）} に依存しており、タスク間で主たる再利用解として、1つの進化する方策にコミットしてしまいます。以前に成功した方策を保持していたとしても、それは干渉後の急速な適応のための信頼できる出発点にならないことがあり、単一方策の保存では対処できない mph{可塑性の喪失（loss of plasticity）} の一形態を反映しています。質と多様性（quality-diversity）に着想を得て、我々は extsc{TeLAPA}（Transfer-Enabled Latent-Aligned Policy Archives, 転移を可能にする潜在整合方策アーカイブ）を提案します。これは、行動的に多様な方策近傍をタスクごとのアーカイブに整理し、共通の潜在空間を維持することで、非定常なドリフト下でもアーカイブされた方策が比較可能で再利用可能なままでいられるようにする、継続的RLの枠組みです。この観点により、継続的RLは、孤立した解を保持することから、将来の再学習を支える有能で行動的に関連した方策を含む mph{スキル整合近傍（skill-aligned neighborhoods）} を維持することへと転換されます。MiniGrid の CL 設定において、 extsc{TeLAPA} はより多くのタスクを成功裏に学習し、干渉後に再訪したタスクではより速く有能さを回復し、タスク系列を通してより高い性能を維持します。我々の分析では、局所的な有能近傍の範囲でさえ、ソース最適方策がしばしば転移最適ではないこと、そして効果的な再利用には、それらを1つの代表へ潰し込むのではなく、複数の近傍候補を保持し選択することが必要であることが示されています。これらの結果は、継続的RLを、再利用可能で有能な方策近傍を中心に捉え直し、単一モデルの保存を超えて、より可塑的な生涯エージェントへ至る道筋を与えます。