ITAS：LLMベースのインテリジェント講義支援のためのマルチエージェント・アーキテクチャ

要旨: 大規模言語モデルのチュータはノートブック上では構築しやすい一方で、実際の授業で運用するのは難しい。本稿では、大学院の量子コンピューティング課程がオールド・ドミニオン大学（Old Dominion University）で1学期間用いたマルチエージェント・チュータリングシステムであるITAS（Intelligent Teaching Assistant System）を述べる。本システムは3つの層からなる。教示層は、3つの並列な専門エージェント（Video、Code、Guidance）のSpoke-and-Wheelに、続いてSynthesizerを配置し、さらにチェックポイント提出物の正しさと取り組み方の両方を評価する別個のオートグレーダを備える。運用層は、Cloud SQLにセッション状態を持ち、Pub/Subを通じてBigQueryへと相互作用イベントをストリーミングする4つのCloud Runマイクロサービスで構成される。フィードバック層は、限定された範囲の会話型エージェントであり、レッスンごとの仮名化されたイベントストリーム上で、教員の質問に答える。これは、我々が「Blind Instructor Problem（盲目的な教員問題）」と呼ぶものに対処する：LLMチュータは、通常のチャネルでは教員が到達できる以上に生徒に関するデータを蓄積してしまう。提案アーキテクチャは、より以前のプロトタイプにおける特定の失敗への直接的な応答であり、本イテレーションでどの修正が引き継がれ、どれが取り下げられたのかを説明する。パイロット導入（5人の学生、1つのコース、1学期）について、学習成果の証拠ではなくシステムの挙動の証拠として解釈した結果を報告する：教示層は、ドメイン統合が引き起こし得るタスク境界の幻覚なしに、334回のチャットターンを処理できた。運用層は、5つのモジュールにまたがって10,628件のイベントを記録した。フィードバック層は、学期の途中で教員が実際に対応した2つの知見を提示した。我々は、このパイロットが一般化するとは主張しない。しかし、記述された通りのシステムは、実際の授業で動作させるために、LLMベースのITSがエンドツーエンドでどのような姿である必要があるかという問いに対する、実行可能な1つの答えであるとは主張する。