構築回答に対するLLM支援ルーブリック採点を信頼できる形で設計する：物理試験からの証拠

Abstract

STEM評価における学生の解答は、多くの場合手書きで、記号表現・計算・図の要素が組み合わさっており、その結果として書式と解釈のばらつきが大きくなります。これらの解答は学生の推論を評価するうえで重要であるにもかかわらず、採点には時間がかかり、特に部分点を要する場合には評価者間の不一致が生じやすいという問題があります。近年、大規模言語モデル（LLM）によるAI支援採点への注目が高まっていますが、ルーブリック設計やLLMの設定が、パフォーマンス水準をまたいだ信頼性にどのように影響するかについての実証は限られています。本研究では、GPT-4oを用いた大学学部レベルの物理における、構成式解答のAI支援採点の信頼性を検討しました。真正の手書きの試験解答20件を、4名の採点者が2ラウンドで採点し、さらにAIモデルが、分析の粒度の異なるスキルベースのルーブリックを用いて採点しました。プロンプトの形式と温度設定は体系的に変化させました。全体として、合計点における人間とAIの一致度は、人間の評価者間信頼性と同程度であり、高得点および低得点の解答では最も高かった一方、中程度の解答で、部分的または曖昧な推論を含む場合には低下しました。基準（クライテリア）レベルの分析では、拡張された手順的判断よりも、明確に定義された概念スキルでの整合性が強いことが示されました。より細かな、チェックリスト型のルーブリックは、ホリスティック採点に比べて一貫性を向上させました。これらの知見は、信頼性のあるAI支援採点は主として、明確でよく構造化されたルーブリックに依存し、プロンプト形式は二次的な役割にとどまり、温度は比較的影響が小さいことを示しています。より広く言えば、本研究は、スキルベースのルーブリックと制御されたLLM設定を通じて、STEM領域において信頼性のあるLLM支援採点を実装するための、転用可能な設計上の推奨事項を提供します。