要旨: ベンチマークやランキングボードは、NLPが進捗を最も頻繁に伝える手段ですが、LLMの時代になると誤読されやすくなっています。スコアは、ベンチマークの追跡に向けた最適化、評価の選択が意図的に隠されていること、あるいはテスト内容が偶然にも露出してしまったことなどを反映しうるものであり、単に幅広い能力を意味するとは限りません。クローズドなベンチマークはこれらの問題の一部を遅らせますが、透明性を下げ、コミュニティが結果から学ぶことを難しくします。私たちは補完的な実践として、オリンピック競技のような評価イベントを提案します。評価まで問題を封印し、提出物は事前に凍結し、すべての参加エントリを1つの標準化されたハーネス（評価実行基盤）を通して実行します。採点後には、タスクセット全体と評価コードを公開することで、結果を再現し監査できるようにします。この設計は、強い性能を「作り出す」ことを難しくし、同時に信頼しやすくすることを目的としています。
LLMオリンピック：なぜモデル評価には密封された試験が必要なのか
arXiv cs.AI / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- この記事は、現在のLLMベンチマークやリーダーボードが誤解を招く可能性があると主張する。スコアは、真の汎用能力ではなく、ベンチマーク追跡による最適化、公開されていない評価上の選択、あるいは偶然のテストセット露出によって左右されうるからである。
- 閉じたベンチマークは、信頼性を向上させる一方で、公開された結果から得られる透明性やコミュニティの学習可能性を下げてしまうため、部分的な解決にとどまると批判している。
- 提案される代替案は、オリンピック競技のような評価形式である。密封された問題、事前に凍結された提出物、そして単一の標準化された評価ハーネスによる実行を組み合わせる。
- 結果が出た後、タスクセット一式と評価コードを公開して、再現性、監査可能性、そしてパフォーマンスの解釈の明確化を可能にすべきである。
- 全体として、この方法は高得点を「作り出す」ことを難しくしつつ、報告された評価結果に対する信頼を高めることを目的としている。
