LLM as a Judgeの結果でモデル比較をするなら、まずは点数評価より比較評価を試してみよう

はじめに LLMを使ったプロダクトでは、LLMの出力をきちんと評価することが欠かせません。 直感で「なんとなく良い」「なんとなく悪い」と判断していると、評価基準が属人化しやすくなります。さらに、品質だけでなくコストや速度とのバランスも含めて判断したい場面では、定量的に比較できないことが大きな問題になります。こうした状態のまま一度リリースしてしまうと、後から改善しにくくなりがちです。 LLMで解くタスクはどんどん複雑で高度になっているので、従来のように正解を用意できるタスクばかりではありません。そこでよく使われるのが、LLMにLLMの出力を評価させるLLM as a Judge です。...