ハンガリーの学生エッセイにおける自動反省（リフレクション）レベル分類

要旨: 省察的思考は教育における重要なコンピテンシーである一方で、省察的な文章の評価は教育の専門家にとって時間を要するだけでなく、主観的な作業であり続けています。自動化された省察分析は複数の言語で検討されてきましたが、ハンガリー語については十分に研究されていませんでした。本論文では、ハンガリー人学生によるエッセイに対する自動的な省察レベル分類に関する、初の包括的研究を提示します。私たちは、複数の学術年度にわたって収集された省察的エッセイ1,954本からなる、大規模で専門家が注釈を付与したハンガリー語データセットを用い、4段階の省察尺度に基づいてラベル付けしました。次の2つのアプローチを検討します: (1) TF-IDFおよび意味的埋め込み特徴を用いる古典的な機械学習モデル、ならびに (2) 文書レベルの省察分類のために微調整した、ハンガリー語固有のトランスフォーマーモデルです。データセットにおける強いクラス不均衡に対処するため、クラス重み付け、オーバーサンプリング、データ拡張、および代替の損失関数を体系的に検討します。各モデリングおよびバランシング戦略の寄与を分析するために、広範なアブレーション研究を実施しました。その結果、適切な特徴量設計を伴う浅い機械学習モデルが強い全体性能を示し、精度、F1-score、ROC AUCの各指標を平均した総合スコアで最大71%に到達しました。一方で、トランスフォーマーモデルは同じ指標を平均した総合スコアでわずかに低い68%となりましたが、少数派の省察クラスに対してより良い汎化を示しました。これらの知見は、リソースが限られた状況において古典的手法が引き続き関連性を持つこと、ならびに不均衡な分類に対するトランスフォーマーモデルの頑健性を強調しています。提案するデータセットと実験に関する洞察は、ハンガリー語および形態的に豊かな他の言語における、自動化された省察分析に関する今後の研究の確固たる基盤を提供します。