項目反応理論（IRT）に基づく自動短答採点におけるLLMの採点能力と応答難易度の推定

要旨: 大規模言語モデル（LLM）による自動短答採点（ASAG）は、一般にマクロ-F1やCohenのκなどの集約指標で評価されます。しかし、これらの指標は、採点の難度が異なる学生の回答に対して、採点性能がどのように変化するかについての洞察は限られています。私たちは、潜在的な採点者の能力と回答の採点難度の関数として採点の正しさをモデル化する、項目応答理論（IRT）に基づく、LLMベースASAGのための評価フレームワークを提案します。この定式化により、LLMの採点者がどこで成功し、どこで失敗するのかを回答レベルで分析できるようになり、集約スコアだけでは見えない頑健性の違いが明らかになります。このフレームワークを、SciEntsBankおよびBeetleベンチマーク上の17のオープンウェイトLLMに適用します。その結果、全体的な性能が似ているモデルであっても、回答の難度が増すにつれて採点精度がどれほど急激に低下するかは、大きく異なることが示されました。さらに、混同（confusion）のパターンから、難しい回答に対する誤りは
\texttt{partially\_correct\_incomplete} ラベルに不釣り合いに集中しており、不確実性のもとで中間ラベルへ崩壊する傾向を示していることがわかります。難しい回答を特徴づけるために、推定された難度の意味的および言語的な相関も追加で分析します。両方のデータセットにおいて、難度が高いほど、参照回答との意味的整合性が弱くなり、より強い矛盾のシグナルが見られ、埋め込み空間における意味的孤立が大きくなることが示されました。全体として、これらの結果は、項目応答理論が、集約的な性能指標を超えてLLMベースASAGを評価するための有用な枠組みを提供することを示しています。