教室ディスコースのLLMアノテーションをマルチエージェント・オーケストレーションで最適化する

要旨: Large language models (LLMs) は、教室での談話、相互作用ログ、定性的な学習成果物を含む教育データの注釈付けのためのスケーラブルなツールとして、ますます位置づけられています。彼らの教室での談話を迅速に要約し、ルーブリックに準拠したラベルを割り当てる能力は、専門家の人間注釈付けに伴うコストと時間を削減できるという楽観的見通しを高めています。しかし、増えつつある証拠は、単一パスの LLM 出力が、文脈的、教育的、または規範的判断を要する高リスクな教育的構成要素、たとえば教育的意図や談話の動きのような場合には信頼できないままであることを示唆しています。規模と妥当性のこの緊張は、現代の教育データサイエンスの中核に位置しています。本研究では、計算的トレードオフを明示的にモデル化しつつ、信頼性を向上させる階層的でコスト認識のある LLM ベースの注釈付けオーケストレーションのフレームワークを提示し、経験的に評価します。注釈付けを一度限りの予測問題として扱うのではなく、それを(1) 未検証の単回注釈ステージ、(2) 自己検証ステージ、(3) 合意志向の裁定ステージからなる多段階の認識論的プロセスとして概念化します。具体的には、(1) ルーブリックに基づいてモデルが独立してラベルを割り当てる未検証の単回注釈ステージ、(2) 各モデルがルーブリックの定義に対して自らの出力を検証し、一貫性の欠如が検出された場合にはラベルを修正する自己検証ステージ、(3) 独立した裁定モデルが検証済みのラベルと正当化を検討し、ルーブリックに従って最終ラベルを決定する合意中心の裁定ステージ、を含む多段階の認識論的プロセスとして捉えます。この構造は、教育研究における確立された人間の注釈ワークフローを反映しており、初期のコーディングの後には自己点検と専門家による不一致の解決が続く、という流れに対応しています。