LLMは人間のように作文を採点できない

要旨: 大規模言語モデルは、作文の自動採点のためのツールとして最近提案されているが、人間による採点との一致度は明確ではない。本研究では、LLMが生成したスコアが人間の成績とどのように比較されるかを評価し、タスク固有の学習を行わない「そのまま（out-of-the-box）」の設定で、GPTおよびLlamaファミリーの複数のモデルの採点行動を分析する。我々の結果は、LLMと人間のスコアの一致が比較的弱く、作文の特性によって変動することを示している。具体的には、人間の評価者と比べて、LLMは短い、または十分に展開されていない作文に対して高いスコアを付ける傾向がある一方で、軽微な文法や綴りの誤りを含む長い作文には低いスコアを付ける傾向がある。さらに、LLMによって生成されるスコアは、一般にそれらが生成するフィードバックと整合していることも見出した。すなわち、より多く褒められる作文ほどより高いスコアを受け取り、より多く批判される作文ほどより低いスコアを受け取る。これらの結果は、LLM生成のスコアとフィードバックが首尾一貫したパターンに従う一方で、人間の評価者が用いるものとは異なるシグナルに依存しているため、人間の採点実務との整合が限定的であることを示唆している。それでもなお、本研究は、LLMが自らの採点と整合したフィードバックを生成すること、そして作文の採点を支援する用途で信頼性をもって利用できることを示している。