LLMの性能比較、何件評価すれば足りますか？
Zenn / 2026/4/7
💬 オピニオンTools & Practical UsageModels & Research
要点
- LLMの性能比較を行う際、「何件（どれだけのサンプル数）評価すれば統計的に十分か」を考える必要があると述べています。
- 比較の目的（精度差を見たい/順位をつけたい/品質保証したい）や評価指標の性質によって、必要な評価件数が変わる点が重要です。
- 単に件数を増やすだけでなく、評価データの偏り（タスク分布・難易度分布）を抑える設計が同等以上に効くことが示唆されます。
- 実務では計算コストやレビュー工数もあるため、段階的にサンプルを増やして判断する考え方が有用になります。
LLMの性能比較、何件評価すれば足りますか？
プロンプトAとB、50件で比較して「差がなかった」——それは本当に差がないのか、それとも50件では足りなかっただけなのか。
第1章：「50件で比較しました」に根拠はあるか？
LLM-as-a-Judgeでプロンプトの性能を比較する。同じ入力50件に対してプロンプトAとBの出力を評価させ、スコアを比較する。よくある光景だ。
しかし、その「50件」はどこから来た数字だろうか。
100件だとAPIコストが気になるから半分にした。キリがいいから50にした。手元にあるテストデータがたまたま50件だった。——多くの場合、統計的な根拠は何もな...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
