TRAJEVAL：コードエージェントの軌跡を分解してきめ細かな診断を行う

要旨: コードエージェントは自律的にGitHubの課題を解決できますが、失敗した場合、現在の評価では「どこで」「なぜ」失敗したのかが見えません。Pass@1のような指標は、1回の実行全体を単一の二値的な結果に圧縮してしまうため、エージェントがどこで、なぜ誤ったのかを特定しにくくなっています。この制約に対処するために、我々はTRAJEVALという診断フレームワークを導入します。これはエージェントの軌跡（trajectory）を、解釈可能な3つの段階に分解します：探索（search：ファイルの位置特定）、読解（read：関数の理解）、編集（edit：修正のターゲティング）。各段階について、参照パッチと比較することで適合率（precision）と再現率（recall）を計算します。3つのエージェント・アーキテクチャと7つのモデルにまたがる16,758の軌跡を分析した結果、普遍的な非効率性（すべてのエージェントが必要な関数の約22倍もの関数を調べている）が見つかる一方で、失敗の様式はそれぞれ異なります。具体的には、GPT-5は関連するコードを見つけられるものの編集の標的を誤りますが、Qwen-32Bはファイル探索の段階で完全に失敗します。我々は、これらの診断が予測可能であり、モデル・レベルのPass@1予測を0.87〜2.1%のMAEで達成できることを検証しました。また実行可能でもあります。軌跡の信号に基づくリアルタイムなフィードバックにより、2つの最先端モデルが2.2〜4.6パーセンテージポイント向上し、同時にコストを20〜31%削減できます。これらの結果は、我々のフレームワークがエージェント挙動のよりきめ細かい分析を提供するだけでなく、診断信号を具体的な性能向上へと結び付けることを示しています。より広く言えば、TRAJEVALは、エージェント評価を結果ベースのベンチマークから、エージェントの成功と失敗をメカニズムに基づいて診断する方向へと変革します。