補完的強化学習

要旨: 強化学習（RL）は、LLMベースのエージェントを訓練するための強力なパラダイムとして浮上してきましたが、サンプル効率の低さという点で依然として制限されており、それは希薄なアウトカムフィードバックだけでなく、エピソード間での過去の経験を活用できないエージェントの能力にも起因します。歴史的な経験をエージェントに付与することは有望な対策を提供しますが、既存のアプローチには重大な弱点があります。歴史から蒸留された経験は静的に保存されるか、改善するアクターと共進化できず、訓練の過程で経験とアクターの進化する能力との間に徐々に齟齬を生じさせ、その有用性を低下させます。神経科学における補完的学習システムに触発され、RLの最適化ループ内で経験抽出器とポリシーアクターのシームレスな共進化を実現するComplementary RLを提示します。具体的には、アクターは希薄なアウトカムベースの報酬によって最適化され、経験抽出器は蒸留された経験がアクターの成功に寄与することを実証的に示すかどうかに応じて最適化され、アクターの成長する能力と同時進行でその経験管理戦略を進化させます。実証的には、経験から学ばないアウトカムベースのエージェントRLベースラインを上回るComplementary RLが、単一タスクの状況で10％の性能向上を達成し、マルチタスク設定で堅牢なスケーラビリティを示します。これらの成果は、効率的な経験駆動型エージェント学習のパラダイムとしてComplementary RLを確立します。