優れたターミナルエージェントのベンチマーク課題とは何か：対立的・困難・判読可能な評価設計のためのガイドライン

要旨: ターミナルエージェントのベンチマークは、大規模言語モデルのコーディング能力およびシステム管理能力を測定するための主要な指標になってきました。評価環境の市場が拡大するにつれて、検証ロジックに対する徹底した敵対的レビューがないまま、タスクを迅速に出荷することへの圧力も高まっています。本論文は、Terminal Benchのために1年以上にわたってタスクの提供とレビューに携わった経験から得た、良いベンチマークタスクの書き方に関するガイドラインです。多くの人はベンチマークタスクを、プロンプトを書くのと同じやり方で書きますが、それはすべきではありません。プロンプトはエージェントが成功するように設計されています。一方、ベンチマークは、それができるかどうかを明らかにするために設計されます。我々は、良いタスクとは敵対的で、難しく、かつ読み取れる（legible）べきだと主張します。そして、「AIが生成した指示」「過度に指示的な仕様」「事務作業の煩雑さ」「隠れた知識を前提とするオラクル解法」「誤ったものを検証してしまうテスト」「報酬を不正に攻略できる環境」といった、よくある失敗モードの大きな範囲は、タスク作成をプロンプト作成として扱うことから生じる予測可能な帰結であると論じます。これらの失敗モードを整理し、真の難しさは環境ではなく概念的なものであることを主張し、さらに、人気のターミナルエージェント向けベンチマークにおける15%以上のタスクが報酬を不正に攻略できることを示す、最近の経験的証拠についても議論します。本稿が、ベンチマークの保守担当者、タスクの提供者、そしてベンチマークスコアを証拠として用いる研究者にとって有用な参考となることを願っています。