指導成果の前に学習者表現を評価し、差別化（ディファレンシエーション）に適しているかを判断する

Abstract

学習者の表現（レラーナ表象）は教育用AIシステムにおいて中心的な役割を担いますが、指導上の成果が利用できない場合や、状況（コンテキスト）への依存度が非常に高い場合に、それらが学習者間の意味のある違いをどの程度保持しているのかは、しばしば明確ではありません。本研究では、共通の比較規則のもとで学習者間の分離を保持しているかどうかに基づいて学習者の表現を評価する方法を検討します。私たちは、クラスタリング、ラベル、またはタスク固有の評価を必要とせずに、ペアワイズ距離を用いて、コホート内の各学習者が他の学習者とどれほど異なるかを表現レベルで評価する指標である「distinctiveness（独自性）」を提案します。オンライン学習環境で、会話型AIエージェントを通じて収集された学生による質問を用いて、個々の質問にもとづく表現と、学生の相互作用を時間を通じて集約したパターンにもとづく表現を比較します。その結果、学習者レベルの表現は、より高い分離、より強いクラスタリング構造、そして相互作用レベルの表現よりも信頼性の高いペアワイズの識別をもたらすことが示されました。これらの知見は、学習者の表現を指導上の成果とは独立に評価できること、また、表現が分化したモデリングやパーソナライゼーションを支えるかどうかを判定するための診断的メトリクスとしてdistinctivenessを用いる、実務的なデプロイ前基準を提供することを示しています。