ゼロショット・大規模言語モデルによる自動リーダビリティ評価

arXiv cs.CL / 2026/4/28

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、非教師ありの自動リーダビリティ評価（ARA）に対して、大規模言語モデル（LLM）を用いた新しいゼロショット・プロンプト手法を提案しています。
10種類の多様なオープンソースLLMを、14種類の多様なデータセットに適用し、テキスト長や言語の違いを含めて包括的に評価した結果を報告しています。
提案手法は14データセット中13で、従来手法より高い性能を示したとされています。
さらに、LAURAEとして、LLMの出力と伝統的なリーダビリティ式のスコアを組み合わせ、文脈的特徴と表層的特徴（例：文の長さ）を両方捉えることで頑健性を高める方法を提案しています。
LAURAEは、言語、テキスト長、技術用語の量が異なる条件でも、従来手法に対して堅牢に優位であることが示されています。

Abstract

教師なしの自動リーダビリティ評価（ARA）手法は、重要な実用的および研究上の応用を持っています（例：医療用または教育用の資料が、対象となる読者層に適していることを確実にする）。本論文では、ARAのための新しいゼロショット・プロンプト手法を提案し、さらに、10種類の多様なオープンソースLLM（例えば、サイズや開発元が異なるもの）を14種類の多様なデータセット（例えば、テキスト長や言語が異なるもの）でテストすることで、大規模言語モデル（LLM）を教師なしARA手法として用いることの最初の包括的評価を示します。私たちの結果は、提案するプロンプト手法が14個のデータセット中13個において、先行手法よりも優れていることを示しています。さらに、LAURAEを提案します。LAURAEは、読みやすさの計算式スコアとLLMを組み合わせることで、読みやすさの文脈的特徴と浅い特徴（例えば、文の長さ）を両方捉え、頑健性を高めます。評価により、LAURAEは、言語、テキスト長、技術的言語の量にわたって、先行手法を頑健に上回ることが示されました。