位置づけ：AI評価の科学には項目レベルのベンチマークデータが必要

要旨: AI評価は、高リスク領域において生成AIシステムを導入するための主要な根拠となってきました。しかし、現在の評価パラダイムはしばしば、体系的な妥当性の失敗を示します。これらの問題は、根拠のない設計上の選択からミスアラインされた指標に至るまで多岐にわたり、妥当性の根拠を収集し、きめ細かな診断分析を行うための原理に基づく枠組みがない限り、解決は困難です。本ポジションペーパーでは、AIベンチマークの項目（アイテム）レベルデータが、AI評価の厳密な科学を確立するために不可欠であると主張します。項目レベルの分析は、きめ細かな診断を可能にし、ベンチマークを原理に基づいて妥当化することを可能にします。私たちは、現在の妥当性の失敗を解剖し、計算機科学および心理測定学にまたがる評価パラダイムを見直すことで、この主張を裏づけます。項目特性と潜在構成概念の例示的な分析を通じて、項目レベルデータがもたらす独自の洞察を示します。コミュニティ全体での採用を促進するために、私たちはOpenEvalを導入します。これは、エビデンス・センタードAI評価を支えることを目的とした、項目レベルベンチマークデータの拡大中のリポジトリです。