初学者向けプログラミング科目における学生の質問回答のためのLLM評価

要旨: 大規模言語モデル（LLM）の急速な登場は、プログラミング教育に対して機会と課題の両方をもたらします。学生が生成AIツールをますます利用するようになっている一方で、直接のアクセスは、学習の手がかりではなく完全な解答を提示してしまうことで、学習プロセスを妨げることがしばしばあります。同時に、教育者は、適時かつ個別化されたフィードバックを提供する際に、大きな作業負荷とスケーラビリティの課題に直面しています。本研究では、CS1のプログラミングコースにおいて、LLMが教育者の学生からの質問への回答を安全かつ効果的に支援できる能力を調査します。これを実現するために、学習管理システムから収集した本物の学生質問170件からなるベンチマークデータセットを厳密で再現可能な形で作成し、さらに当該分野の専門家が執筆した正解（ground-truth）回答とペアにすることで、厳格で再現可能な評価プロセスを確立しました。従来のテキスト照合の指標では、自由形式の教育的応答を評価するには不十分であるため、教育的正確性を評価することに最適化した、独自の「LLM-as-a-Judge」指標を開発し、検証しました。結果として、Gemini 3 flash のようなモデルは、典型的な教育者の応答の品質ベースラインを上回ることが示され、専門家の教育的基準に対して高い整合性（alignment）を達成しています。幻覚（hallucination）などの持続的なリスクを低減し、コース固有の文脈との整合性を確実にするために、我々は「教師をループに入れた（teacher-in-the-loop）」実装を提唱します。最後に、我々は手法をタスク非依存の評価フレームワークとして抽象化し、教育用LLMツールの開発を、アドホックなポストデプロイ（導入後）のテストから、定量化可能なプレデプロイ（導入前）の検証へと転換することを提案します。