テスト解答から認知スキャフォールディングへ：英語標準テストに対するLLMのための教育的診断ベンチマーク

Abstract

大規模言語モデル（LLM）が教育ツールへますます統合されるにつれ、標準化テストに関する現在の評価は主として二値の結果の正確性に焦点を当てています。代わりに、効果的なAIチュータは、忠実な推論を示し、解法戦略を説明し、特定の人間の誤概念を診断できる必要があります。このギャップを埋めるために、英語標準化テスト（EST）の問題解決を認知的フレームワークの中を巡回するものとしてモデル化する、教育学的な診断フレームワークを提案します。このフレームワークに基づき、ESTBookを提示します。ESTBookは、5つの主要試験にまたがって、10,576問と29のタスクタイプを含むマルチモーダル・ベンチマークです。従来のデータセットと異なり、ESTBookは単なるデータの集約にとどまらず、形式化された推論の軌跡や、特定の認知的な罠を捉えるディストラクタ（紛らわしい選択肢）の根拠によって問題を強化しています。大規模な評価を通じて、私たちは経験的に、この診断フレームワークの実用的有用性を実証します。具体的には、認知的な軌跡の特定によりパフォーマンスのギャップを緩和でき、ガイド付きの引き出し（elicitation）によって教育的な推論が改善されることを示します。