自動エッセイ採点は十分な精度に到達したのか？古典的テスト理論から達成可能なQWKの上限を導く

Abstract

自動エッセイ採点（AES）は、しばしば二次重み付きカッパ（QWK）を用いた公開ベンチマークで評価されます。しかし、ベンチマークのラベルは人間の採点者によって付与され、必然的に採点誤りを含むため、QWKが理論的にどこまで到達可能なのか、また実運用に十分な水準がどの程度なのかは、いまだ不明です。そこで本研究では、古典的テスト理論における信頼性の概念に基づいて、データセット固有の2つのQWK上限を導出します。これらは追加の注釈なしで、標準的な2人採点者ベンチマークから推定できます。1つ目は理論的上限であり、潜在的な真のスコアを完全に予測する理想的なAESモデルが、ラベルのノイズ下で達成し得る最大QWKです。2つ目は人間らしさの上限であり、人間と同等の採点誤りを持つAESモデルによって到達可能なQWKで、AESが1人の人間採点者を置き換えることを意図されている場合の実用的な目標を与えます。さらに、しばしば上限の参照として用いられる人間同士のQWKは、真の上限を過小評価し得ることを示します。シミュレーション実験により提案する上限が検証され、実際のベンチマークでの実験により、現行の性能と最新のAESモデルの残された余地がどのように明確化されるかを示します。