要旨: HELM、MT-Bench、AgentBench、BIG-bench を含む、既存の大規模言語モデルの評価フレームワークは、制御された単一セッションのラボ規模の設定向けに設計されています。これらは、生産環境でエージェント的なAIシステムが継続的に動作する際に生じる評価上の課題、すなわち、意思決定エラーの累積、ツール障害の連鎖、出力の非決定論的なドリフト、そして長期ホライズン課題に対する真の正解（ground truth）の欠如に対処できていません。本論文は3つの貢献を行います。第一に、生産環境で運用されている、数十億イベント規模のシステムからの観測に基づき、生産環境のエージェント的システムに固有の7つの失敗モードの分類法を提示します。第二に、標準的な指標――ROUGE、BERTScore、精度/AUC、および上記のエージェント的ベンチマーク――が、各失敗モードをどこで検出できないかを実証的に示します。第三に、PAEF（Production Agentic Evaluation Framework）を提案します。これは、5つの次元からなる評価フレームワークであり、オープンソースの参照実装を備えています。エピソード型のベンチマーク実行ではなく、生産トラフィックに対する継続的評価のために設計されています。分析の結果、標準的な指標は7つの失敗モードのうち4つをまったく検出できず、残り3つについては複数の評価サイクルを経た後にのみ検出できることが分かりました。
実運用でのエージェント型AIを評価する：失敗モード、ドリフトのパターン、そして本番評価フレームワーク
arXiv cs.AI / 2026/5/5
💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 既存のLLM／エージェント評価ベンチマーク（HELM、MT-Bench、AgentBench、BIG-benchなど）は主に統制された単一セッションの実験室環境を前提としており、複数回の意思決定エラーの蓄積、ツール失敗の連鎖、長期タスクに対する正解データ不足、非決定的な出力ドリフトといった本番運用特有の課題を扱えていません。
- 本論文は、数十億イベント規模で稼働したシステムの観測に基づき、本番のエージェント型AIに固有の失敗モードを7種類に整理した分類（タクソノミー）を提示します。
- ROUGE、BERTScore、accuracy/AUCといった一般的な指標や、従来のエージェント系ベンチマークでは、これらの失敗を十分に検出できず、7つの失敗モードのうち4つは完全に見逃され、残り3つも複数の評価サイクルの遅れを経てようやく検出されることを実証的に示します。
- これらのギャップを埋めるため、PAEF（Production Agentic Evaluation Framework）を提案し、オープンソースのリファレンス実装も提供します。これは、エピソード型ベンチマークではなく、本番トラフィックに対する継続的評価を目的とした5次元の評価フレームワークです。
