SEA-Eval：エピソード評価を超えて自己進化エージェントを評価するためのベンチマーク

要旨: 現在のLLMベースのエージェントは、エピソード型タスク実行において高い性能を示す一方で、静的なツールセットやエピソード的健忘によって制約されており、タスク境界を越えて経験を蓄積したり戦略を最適化したりできない。自己進化エージェント（Self-Evolving Agent: SEA）というパラダイムはこれまで提案されてきたが、本論文はデジタルの身体性に基づく連続的なタスク間進化によりSEAを新たに厳密に定義し、さらにSEAの特性を2つの次元、すなわちタスク内実行の信頼性と長期的な進化性能の観点から評価するために設計された最初のベンチマークであるSEA-Evalを導入する。タスクを連続するストリームとして整理し、時間経過に伴う成功率（Success Rate）とトークン消費量（Token Consumption）を分析することで、SEA-Evalは、既存のエピソード型ベンチマークでは不可能な方法で、進化による利得と構造的な安定性を定量化する。実験的評価の結果、現行の最先端フレームワークには顕著な進化的ボトルネックが存在することが明らかになった。同一の成功率が示されても、連続分析を行うとトークン消費量に最大31.2倍の差が現れ、進化の軌跡も分岐する。SEA-Evalは、エージェントを単なるタスク実行者から、真に自己進化するデジタル実体へと発展させるための、厳密な科学的基盤を提供する。