教育アプリケーションにおけるペルソナベクトルで大規模言語モデルをステアリングすることの影響

要旨: 活性（アクティベーション）ベースのステアリングは推論時に大規模言語モデルを個人化できますが、教育環境におけるその効果は依然として不明です。本研究では、ASAP-SASベンチマークにおける自動採点と短答生成に関して、7つの性格特性に対応するペルソナベクトルを調べ、2つのアーキテクチャにまたがる3つのモデルで検証します。ペルソナステアリングは全体として回答品質を低下させ、影響は事実ベースの科学プロンプトよりも、自由形式の英語科（ELA）プロンプトで大きくなります。解釈・議論の課題は最大で11倍まで感度が高いことが分かります。採点側では、予測可能な情動価（バレンス）に整合したキャリブレーションのシフトが観測されます。すなわち「邪悪で無礼な」採点者はより厳しく採点し、「善良で楽観的な」採点者はより寛容に採点します。ELA課題は科学課題よりも、採点者の個人化に対して2.5〜3倍ほど影響を受けやすく、Mixture-of-Expertsモデルでは密な（dense）モデルに比べて、キャリブレーションシフトが概ね6倍大きいことが示されます。私たちの知る限り、本研究は教育における生成および採点で、活性によって誘導されたペルソナ特性の効果を体系的に調べた最初の研究です。その結果は、教育環境で誘導（ステアド）モデルを運用する際に、タスクに応じた、かつアーキテクチャに応じたキャリブレーションの必要性を浮き彫りにしています。