総合的および分析的ルーブリックにおけるLLMの論文採点：プロンプト効果とバイアス

要旨: 教育アセスメントに大規模言語モデル（LLM）を用いることへの関心が高まっているにもかかわらず、それらが人間の採点とどの程度一致しているかは依然として不明である。本研究では、3つの公開された論述（エッセイ）採点データセット（ASAP 2.0、ELLIPSE、DREsS）にわたって、指示（instruction）にチューニングされたLLMを体系的に評価する。これらは、ホリスティック（総合的）採点と分析的（analytic）採点の双方をカバーしている。人間のコンセンサス採点との一致、方向性バイアス、およびバイアス推定の安定性を分析する。我々の結果は、強力な公開ウェイト（open-weight）モデルがホリスティック採点において人間と中程度から高い一致を達成することを示している（Quadratic Weighted Kappaは約0.6）が、その一致は分析的採点には一様には転移しない。特に、文法や慣例（Conventions）といった下位次元の懸念（Lower-Order Concern: LOC）特性に対して、大きく安定した負の方向性バイアスが観測される。これは、モデルがしばしば人間の採点者よりも厳しくこれらの特性にスコアを付けていることを意味する。また、多特性の分析的採点においては、簡潔なキーワードに基づくプロンプトが、より長いルーブリック（採点基準）形式のプロンプトよりも概して優れていることも見出す。これらの体系的なずれを検出するのに必要なデータ量を定量化するために、平均バイアスに対する95%ブートストラップ信頼区間が0を除外する最小のサンプルサイズを算出する。この分析により、LOCバイアスは非常に小さな検証セットでも検出可能であることが多い一方で、上位次元の懸念（Higher-Order Concern: HOC）特性では通常、はるかに大きなサンプルが必要であることが示される。これらの知見は、「バイアス補正を先に行う（bias-correction-first）」導入戦略を支持する。すなわち、生のゼロショット採点に依存するのではなく、小規模な人手ラベル付きのバイアス推定セットを用いて、体系的なスコアずれを推定し補正することができ、大規模なファインチューニングは不要である。