WebTestBench：エンドツーエンド自動Webテストに向けたコンピュータ利用エージェントの評価

要旨: 大規模言語モデル（LLM）の登場は、プログラミングにおけるパラダイムシフトを引き起こし、ユーザが自然言語の指示によって完全なプロジェクトを構築したり、さらにはコンピュータを制御したりできる「vibe coding」を生み出しました。このパラダイムは自動化されたWebページ開発を推進してきましたが、Webの機能が確実に実装されているかどうかを自動的に検証する方法について、新たな要件を導入しています。既存の研究は適応が難しく、静的な視覚的類似に頼ったり、事前に定義されたチェックリストに依存したりしており、これらはオープンエンドな環境における有用性を制約しています。さらに、ソフトウェア品質の重要な側面、すなわち潜在的な論理制約を見落としています。これらの不足を解消するために、エンドツーエンドの自動Webテストを評価するためのベンチマークであるWebTestBenchを導入します。WebTestBenchは、多様なWebアプリケーションのカテゴリにまたがる包括的な次元を備えています。テストプロセスを2段階にカスケードされたサブタスク、チェックリスト生成と欠陥検出に分解し、この課題のためのベースラインとなるフレームワークであるWebTesterを提案します。WebTesterを用いて代表的なLLMを評価したところ、テストの網羅性不足、検出におけるボトルネック、長いホライズンにわたる対話の信頼性の低さといった深刻な課題が明らかになりました。これらの結果は、現在のコンピュータ利用エージェントの能力と、産業グレードの導入要件との間に大きなギャップがあることを示しています。本研究が、エンドツーエンドの自動Webテストを前進させるための有益な洞察と指針をWebTestBenchが提供することを期待しています。データセットとコードは https://github.com/friedrichor/WebTestBench で公開しています。