LLM-as-a-Judgeを作る前にやるべき5つのエラー分析手順（Hamel Husain流）

はじめに LLMの出力の評価について調べていて、Hamel Husainという元Airbnbのデータサイエンティストで、いまはフリーランスとしてLLM評価のコンサルティングや講座を提供している方のブログに行き当たりました。 Hamel氏は「LLM-as-a-Judge を組む前に、まず人間が対話ログを読み込め。評価基準は LLM ではなくドメイン専門家が決めるべきだ」。LLM 評価というと、自分はつい自動化から手を付けたくなる側です。Hamel氏の主張はその逆向きで、しっくりきたので論点を 5 つにまとめてみました。 なぜ LLM-as-a-Judge から作り始めるとうまくいか...