AEL：開かれた環境のためのエージェント進化型学習

要旨: LLMエージェントは、数百に及ぶ連続したエピソードにまたがる、オープンエンドな環境でますます稼働されるようになっていますが、それでもなお大部分はステートレスです。つまり、過去の経験を将来のより良い振る舞いへと変換することなく、各タスクは毎回ゼロから解かれます。この障害の中心は、
\emph{何を} 記憶するかではなく、
\emph{記憶したものをどう使うか} にあります。具体的には、どの検索ポリシーを適用するべきか、過去の結果をどう解釈するか、そして現在の戦略自体がいつ変わる必要があるのか、という点です。私たちはこの障害に対処する\emph{Agent Evolving Learning}（\ael{}）を提案します。これは2つのタイムスケールを備えた枠組みです。速いタイムスケールでは、Thompson Samplingのバンディットが、各エピソードにおいて適用するメモリ検索ポリシーを学習します。遅いタイムスケールでは、LLMによる内省が失敗パターンを診断し、因果に関する洞察をエージェントの意思決定用プロンプトへ注入します。これにより、エージェントは検索した証拠に対する解釈の枠組みを得ます。連続ポートフォリオのベンチマーク（10のセクター多様なティッカー、208エピソード、5つのランダムシード）において、\ael{}はSharpe比を2.13\pm0.47とし、5つの公開済みの自己改善手法およびLLMを用いないすべてのベースラインを上回ります。さらに、LLMベースのアプローチ群の中で最も低い分散を維持します。9つの変形（アブレーション）によって、「少ないほど多い」というパターンが明らかになります。すなわち、メモリと内省を組み合わせることで、ステートレスなベースラインに対して累積58の改善が得られる一方で、私たちがテストした追加のあらゆるメカニズム（プランナの進化、ツールごとの選択、コールドスタートの初期化、スキル抽出、ならびに3つのクレジット割当手法）は\emph{性能を低下}させます。これは、エージェントの自己改善におけるボトルネックが、アーキテクチャの複雑化を追加することではなく、\emph{自己診断によって経験をどう使うか} であることを示しています。コードとデータ: https://github.com/WujiangXu/AEL。