アラビア語エッセイ熟達度のための構造化プロンプティング：特性中心の評価アプローチ

要旨: 本論文は、アラビア語における特性特異的自動採点（AES）のための新しいプロンプト設計フレームワークを、ゼロショットおよびファショット設定の下で大規模言語モデル（LLMs）を活用して提示します。
アラビア語用のスケーラブルで言語学的に情報を反映したAESツールの不足に対処するため、組織性、語彙、展開、文体などの異なる言語能力の特性を評価するLLMsを導く、標準・ハイブリッド・ルーブリック指向の三層プロンプト戦略を導入します。
ハイブリッドアプローチは、特性専門の評価者によるマルチエージェント評価を模擬し、ルーブリック指向の手法は採点済みの標本を取り入れてモデルの整合性を高めます。
ゼロショットおよびファショット設定では、特性レベルの注釈を備えた最初の公開利用可能なアラビア語AESリソースであるQAESデータセット上で、8つのLLMを評価します。
Quadratic Weighted Kappa（QWK）および信頼区間を用いた実験結果は、Fanar-1-9B-Instruct がゼロショットおよびファショットの両方のプロンプティングで最も高い特性レベルの一致度を達成したことを示します（QWK = 0.28、CI = 0.41）。ルーブリック指向のプロンプティングは、すべての特性とモデルにおいて一貫した利得をもたらします。
Development（展開）と Style（文体）といった談話レベルの特性が最も大きな改善を示しました。
これらの知見は、構造化されたプロンプティングが、モデル規模だけではなく、アラビア語における効果的なAESを実現することを確認しています。
本研究は、熟練度指向のアラビア語AESの最初の総合的なフレームワークを提示し、資源が限られた教育環境におけるスケーラブルな評価の基盤を築きます。