表情認識に基づくプロンプト提示：共感的LLMチューターのために

Abstract

大規模言語モデル（LLM）は、ますます能力の高い指導（チュータリング）スタイルの会話エージェントを可能にしますが、効果的な指導には、テキストだけでは不十分な、学習者の情動状態や認知状態への配慮が必要です。表情は、混乱・苛立ち・関与といった状態の即時で実用的な手がかりを提供しますが、LLM駆動の指導においては十分に検討されていません。本研究では、エンドツーエンドの再学習なしで、プロンプトレベルの統合によって、表情に気づいたシグナルが共感的な指導応答を改善しうるかを調査します。大規模なラベルなし表情動画データセットから得た多様な表情行動を示す学生エージェントを備えた、拡張可能な模擬指導環境を構築し、4つのチューターバリアントを比較します。それは、テキストのみのLLMベースライン、ランダムな顔フレームを用いるマルチモーダルベースライン、そして、Action Unit推定モデル（AUM）に基づく2つの手法です。後者の2手法は、テキストによるAU記述を注入する方法、または視覚的なグラウンディングのためにピーク表情フレームを選択する方法です。3つのチューターベース（GPT-5.1、Claude Ops 4.5、Gemini 2.5 Pro）にまたがる960のマルチターン会話に対し、人間評価者5名による的を絞ったペア比較と、網羅的なAI評価者による評価を行います。AUベースの条件付けは、あらゆるチューターベースにおいて、表情への共感的な応答を一貫して改善します。一方、AUMに導かれたピークフレーム選択は、ランダムフレームの視覚入力よりも優れています。テキストによるAUの抽象化と、ピークフレームの視覚注入は、モデル依存の利点を示します。制御分析の結果、この改善は、教育的な明瞭さの低下や、テキスト手がかりへの応答の悪化を伴わないことが示されます。最後に、AIと人間の一致は、表情に基づく共感において最も高く、この次元に対するスケーラブルなAI評価を裏づけます。総合すると、本研究の結果は、軽量で構造化された表情表現が、最小限のオーバーヘッドで、LLMベースの指導システムにおける共感を実質的に高めうることを示しています。