大規模言語モデルによる教育カウンセリングにおける社会人口学的バイアス

要旨: 大規模言語モデル（LLM）が教育環境にますます統合されるにつれて、その潜在的なバイアスを理解することは極めて重要である。本研究では、LLMベースの教育カウンセリングにおける社会人口学的バイアスを検討する。多様な状況にある学生を描写した約900のビネットに関する質問に答える6つのLLMの応答を評価する。各ビネットは、人種や性別、社会経済的地位、移民の背景にまたがる14の社会人口学的識別子に対して系統的にテストされ、あわせて統制条件も設けることで、243,000件のモデル応答が得られる。結果は、(1) すべてのモデルに測定可能なバイアスが見られること、(2) バイアスのパターンは記録された人間のバイアスと部分的に一致する一方で、注目すべき点で相違があること、(3) これらのバイアスの大きさは学生描写の精度によって強く左右されることが示される。すなわち、漠然とした情報や最小限の情報では格差がほぼ3倍に増幅されるのに対し、具体的で個別化された指標はそれらを大幅に低減する。また(4) バイアスのプロファイルはモデル間で大きく異なる。これらの結果は、文脈に富み個人に合わせた教育的表現の重要性を示しており、AIによる教育上の意思決定は、公平性と公正さを促進するために、詳細な学生固有の情報から恩恵を受けることを示唆している。