大規模言語モデルにおける数学問題解決の専門性は、アセスメント成績と関連するのか？

要旨: 大規模言語モデル（LLM）は、数学教育において問題解決者としてだけでなく、学習者の推論を査定する評価者としてもますます利用されている。だが、より強い数学問題解決能力が、より強いステップ単位の査定パフォーマンスと結びついているかどうかは、いまだ明確ではない。本研究は、数学的推論における最初の誤りのステップを特定するための、人手による注釈付きベンチマークであるPROCESSBENCHのGSM8KおよびMATHサブセットを用いて、その関係を検討する。GPT-4とGPT-5で実装した2つのLLMベースの数学チュータ・エージェント設定を、同一の数学問題に対して2つの独立したタスクで評価する。すなわち、元の問題を解くタスクと、ベンチマークが提示した解答を評価し、最初の誤りのステップを予測するタスクである。結果は、同一モデル内で一貫したパターンを示した。すなわち、査定の正確性は、そのモデルが正しく解けた数学問題項目では、誤って解いた項目に比べて大幅に高い。さらに、この関連は両モデルおよび両データセットにわたって統計的に有意である。一方で、査定は直接の問題解決よりもなお難しく、とりわけ誤りを含む解答においてその傾向が強い。これらの発見は、数学問題解決の専門性がより強い査定パフォーマンスを支えることを示唆するが、信頼性の高いステップ単位の診断には、ステップ追跡、モニタリング、そして誤りの正確な局所化といった追加的な能力も必要であることも示している。これらの結果は、数学教育における形成的評価のためのAI支援型適応的指導システム（AISs）の設計および評価に対する示唆を与える。