SciEval：K-12理科の教材を自動評価するためのベンチマーク

Abstract

K-12の理科教育における教材を評価する必要性は、生成AIを用いて教材を作成する教育者が増えるにつれて、ますます重要になってきています。しかし、教材のレビューは時間がかかり、専門性を要し、スケールさせることが難しいため、自動評価アプローチへの関心が高まっています。大規模言語モデル（LLM）は一般的な評価タスクで強い性能を示してきましたが、教材に対するその性能と信頼性は依然として不明です。このギャップに対処するために、我々は、教育者が設計したルーブリックに基づいてスコアと根拠（エビデンス）を予測する生成AIタスクとして、自動教材評価（AIME: Automatic Instructional Materials Evaluation）を定式化します。ベンチマークデータセットを作成し、AIMEのためのベースラインモデルを開発します。まず、最初のAIMEデータセットであるSciEvalを作成します。これは、教育学に整合した評価スコアと、根拠に基づく理由（ラショナール）で注釈された教材から成ります。専門家による注釈は高い評価者間信頼性を実現し、その結果、EQuIPルーブリックを用いて13の基準により評価された273の授業レベル教材（N=3549）からなるデータセットが得られました。次に、主流のLLM（GPT、Gemini、Llama、Qwen）をSciEvalでテストし、そのいずれも強い性能を達成できないことを確認します。その後、SciEvalでQwen3を微調整します。保持したテストセットでの結果から、領域に整合した微調整により最大11パーセントの性能向上が得られることが示され、AIMEにおけるドメイン固有の微調整の重要性が強調されるとともに、LLMを他の教育タスクで活用することを促進します。