Googleの調査では、テスト例ごとに一般的に割り当てられる3〜5人の人間の評価者では、信頼できるAIベンチマークにはしばしば不十分であり、注釈予算をどう分けるかは、その予算そのものと同じくらい重要だとしています。
この記事 AIベンチマークは人間が意見を食い違わせることを体系的に無視していることが判明、Googleの調査 は The Decoder に最初に掲載されました。
AIベンチマークは人間の意見の食い違いを体系的に無視している—Googleの研究が判明
THE DECODER / 2026/4/5
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- Googleの研究は、1つの例につき3〜5人の人手評価者だけを用いるような一般的なAIベンチマーク手法では、人間の判断のばらついを捉えられていないため、結果が信頼できないものになり得ると主張している。
- 研究では、収集した総アノテーション数と同じくらい、チームが評価対象（アイテム）と評価者（ラテラー）にどのようにアノテーション予算を配分するかが重要になり得ることが示されている。
- 人間の意見の食い違いを、有益なシグナルではなくノイズとして扱うと、ベンチマークのスコアが体系的に偏り得ると研究は強調している。
- それは、今後のベンチマーク設計では、評価者の食い違いと不確実性を考慮し、モデル間の比較可能性と頑健性を高めるべきだという示唆につながる。
