ELT-Bench-Verified：AIエージェントの能力を過小評価するベンチマーク品質の問題

要旨: 抽出-ロード-変換（ELT）パイプラインの構築は、労力の大きいデータエンジニアリング作業であり、AI自動化にとって高いインパクトを持つターゲットです。エンドツーエンドのELTパイプライン構築のための最初のベンチマークであるELT-Benchでは、AIエージェントは当初、成功率が低いことが示されており、実用上の有用性が欠けている可能性が示唆されていました。
私たちはこれらの結果を再検討し、エージェントの能力を大幅に過小評価させていた2つの要因を特定します。第一に、改良された大規模言語モデルによってELT-Benchを再評価すると、抽出・ロードの段階はほぼ解決済みである一方、変換の性能は大きく改善していることが分かります。第二に、監査者-訂正者（Auditor-Corrector）手法を開発し、拡張可能なLLM駆動の根本原因分析と、厳格な人手による検証（アノテータ間一致 Fleiss' κ = 0.85）を組み合わせて、ベンチマーク品質を監査します。この監査をELT-Benchに適用すると、失敗した変換タスクの大半にはベンチマークに起因する誤りが含まれていることが明らかになります。たとえば、剛直な評価スクリプト、あいまいな仕様、誤った正解データなどです。これらは、正しく出力したエージェントの結果に対して不当にペナルティを与えます。
これらの知見に基づき、評価ロジックを洗練し、正解データを修正した改訂版ベンチマークELT-Bench-Verifiedを構築します。このバージョンで再評価すると、ベンチマークの修正のみで説明できるほど大きな改善が得られます。結果として、私たちの結果は、エージェント能力の過小評価には、急速なモデル改善とベンチマーク品質の問題の両方が寄与していたことを示します。より広く見ると、私たちの発見は、テキスト-to-SQLベンチマークにおける注釈誤りが広く見られるという観測と呼応しており、データエンジニアリングの評価における品質問題が体系的であることを示唆します。複雑なエージェント型タスクに対しては、体系的な品質監査を標準的な実践とすべきです。進展のためのAI駆動データエンジニアリング自動化における、より信頼できる基盤を提供するために、ELT-Bench-Verifiedを公開します。