自己改善するLLMエージェントのための体験的・省察的学習

概要: 大規模言語モデル（LLM）の最近の進歩により、複雑な推論や多段階の問題解決が可能な自律エージェントの開発が可能になりました。しかし、これらのエージェントは専門的な環境に適応することが難しく、過去のやり取りを活用できず、蓄積された経験があっても新しいタスクに対しては最初から取り組んでしまいます。私たちは、経験的反省学習（Experiential Reflective Learning: ERL）を提案します。これは、経験学習によって迅速に環境適応を可能にする、単純な自己改善の枠組みです。ERLは、タスクの軌跡と結果を振り返ってヒューリスティックを生成し、タスク間で移転可能な実行可能な教訓を捉えます。テスト時には、現在のタスクに基づいて関連するヒューリスティックを取得し、エージェントの文脈に注入して実行を導きます。Gaia2ベンチマークでは、ERLはReActベースラインに対して成功率を7.8%改善し、タスク完了の信頼性に大きな向上が見られるとともに、過去の経験学習手法を上回ります。体系的なアブレーションにより、選択的な取得が本質的であること、また、少数ショットの軌跡プロンプトよりも、ヒューリスティックのほうが移転可能な抽象化を提供することを見いだしました。これらの結果は、単一の試行経験を振り返って移転可能なヒューリスティックを抽出することで、効果的なエージェントの自己改善が実現できることを示しています。