小規模言語モデルは自分が間違いだと分かるのか？自信度カスケードスコアリングによる教育評価

アブストラクト: 大規模に学生の課題を自動採点するには、正確さとコスト、レイテンシーのバランスを取る必要があります。いわゆる「カスケード」システムでは、小型言語モデル（LM）が容易な採点タスクを担当し、難しいものはより大きなLMへエスカレーションします。しかし課題は、どのケースをエスカレーションすべきかを判断することです。本研究では、言語化された確信度――予測とともに数値の確信度をLMに表明させること――をルーティング信号として探ります。学生とAIの数学会話から得た、専門家による2,100件の採点済み意思決定を用いて、GPT-5.4、Claude 4.5+、Gemini 3.1のモデル・ペアで構築したカスケード・システムを評価します。その結果、(1) 確信度の識別力は小型LM間で大きくばらつき、最良ではAUROC 0.857、最悪ではほぼ退化した確信度分布が得られること、(2) 確信度は人間の採点の難しさに追随し、注釈者の間で意見が分かれたケースや、採点により時間がかかったケースではLMの確信度が低くなること、(3) 最良のカスケードは、大型LMの正確さに接近したこと（kappa 0.802 vs. 0.819）に加え、コストが76%低く、レイテンシーが61%低いこと、を見出しました。確信度の識別がボトルネックです。意味のある確信度のばらつきを持つ2つの小型LMでは、統計的に検出可能なkappaの低下なしにカスケードが成立しました。一方、確信度がほぼ退化していた3つ目の小型LMは、どの閾値を用いても精度ギャップを埋められませんでした。確信度の識別が強い小型LMは、実務者がコストと精度をフロンティア上でトレードオフできる一方、それがない場合はできません。