QA自動化で学ぶ LLM as a Judge — 「操作するAI」と「判定するAI」を分ける理由

1. はじめに 前回の記事では、自然言語で「何を確認したいか」を書くだけで AI がシミュレータを操作してテストする仕組みの全体像を紹介しました。 https://zenn.dev/kyoichi/articles/ai-qa-agent-01-overview 実装を進める中で、最も苦労したのが「テスト結果の判定」でした。AI にシミュレータを操作させること自体はうまくいったのですが、操作した AI 自身に「合格か不合格か」を判定させると、どうしても甘い判定になってしまいます。 この記事では、その問題をどう解決したかを、LLM as a Judge というパターンの観点から解説しま...