CoEvolve：エージェントのデータ相互進化によるLLMエージェントの学習

Abstract

LLMエージェントに対する強化学習は通常、静的なデータ分布上で実施されますが、これはエージェントの進化する行動に適応できず、複雑な環境相互作用に対するカバレッジが不十分になるという問題を招きます。これらの課題に対処するために、本研究では、エージェントとデータの相互進化を行う枠組みであるCoEvolveを提案します。これにより、クローズドループの相互作用駆動型トレーニングを通じて、LLMエージェントが改善できるようになります。具体的には、CoEvolveはロールアウト軌跡から、忘却や不確実性といったフィードバック信号を抽出し、失敗しやすい相互作用パターンを特定します。そしてそれらを、LLMベースのタスク合成を導くために利用します。合成されたタスクは環境との相互作用によって検証され、その結果を用いてデータ分布を更新します。これにより、エージェントとそのデータがともに適応可能になります。Qwen2.5-7B、Qwen3-4B、Qwen3-30B-A3Bにまたがって、AppWorldおよびBFCLに対して大規模な実験を行った結果、強力なベースモデルに対して一貫した有意な改善が示されました。それぞれ絶対的な向上幅は19.43%、15.58%、18.14%です。