今回の研究は、LLMを「ADHDの傾向をもつ学生」として振る舞わせたとき、そのキャラクターが会話の中でどれくらい安定して維持されるのかを検証したものです。

「教員の研修や教育の研究において、ADHDなどの特性をもつ生徒を大量に集めることが難しい」という問題を解決するアプローチとして、LLMによるシミュレーションが注目されていますが、設定した特性を安定して維持できないと、研究にも教育にも活用しづらいという問題点が存在します。

研究の方法

まず、LLMに対してADHD特性の強さ（high、moderate、low、および「あなたは学生です」という最小限の指示が与えられたdefault）が異なる学生のキャラクターを与え、学校生活や仕事の1日について一人称視点で語らせました（Experiment Ⅰ）。その後、LLM自身が「CAARS」というADHDの症状重症度を把握するための評価尺度（0〜36点）に回答し、それを別のLLMが評価しています。

加えて、同じ会話の中でADHDのキャラクターがどう変化するかを観察する実験も行われました（Experiment Ⅱ）。
こちらでは、キャラクターを与えられたLLMと会話相手のLLMが9ターンのやり取りを行い、3、6、9ターン目で評価されました。

会話の条件は、以下の2つです。

• unscripted：自由に会話する条件

• scripted：授業中、グループワーク、宿題の管理など、決まった場面について会話する条件

結果

1. 会話間の安定性は、highは概ね安定していた

ADHD特性の強さがhighのキャラクターは、学校生活シナリオにおける自己評価が平均30.2点、標準偏差は1.79で、別のLLMの評価では平均21.1点、標準偏差は2.57となっており、比較的安定していました。

lowのキャラクターも同様に見てみると、自己評価は平均2.08点、標準偏差が3.35で、別のLLMの評価では平均1.71点、標準偏差が5.07となっており、設定通りスコアは低く抑えられていますが、ばらつきが大きくなっています。
著者らはこの結果に関して、「lowは概ね低い値で保たれているものの、外れ値の影響で標準偏差に影響が及んだ可能性がある」と述べています。

moderateの結果も見てみると、自己評価は平均18.0点、標準偏差5.04で、別のLLMの評価では平均16.6点、標準偏差は4.78となっており、こちらもばらつきが大きくなっており、やや不安定な結果となりました。

2. defaultでも、学校生活のシナリオではADHD特性が強く現れた

default条件は「あなたは学生です」という最小限の指示だけが与えられている状態ですが、学校生活のシナリオでの自己評価は平均27.3点、標準偏差は1.64で、別のLLMの評価は平均20.1点、標準偏差は3.01となり、highに近い値になりました。
ただし、あくまでこの結果からはっきりとわかるのは「default条件で学校生活のシナリオを演じさせると、CAARSのスコアが高かった」という点のみなので、結果の解釈には注意が必要です。

これは私の勝手な想像になりますが、LLMがADHDの特性そのものを再現したというよりは、LLMが「学生」という役割自体から、注意散漫、課題の先延ばし、締切への焦り、授業中の集中力低下といった「学校生活あるある」を生成しやすかった可能性があります。
そして、これらの表現がCAARSの評価項目と重なることにより、結果としてスコアが高くなったのではないかと考えます（なお、この結果に関しては後ほど補足します）。

3. 同じ会話内では、自己評価は安定しているものの、行動は変化した

Experiment Ⅱにおいて、LLM自身に自分のADHD特性を評価させると、会話のターンが進んでも概ね安定していました。特にhighのキャラクターでは、unscripted条件での自己評価の変化は0.1点、scripted条件では0.0点でした。

一方で、別のLLMからの評価を見てみると、unscripted条件におけるhighのキャラクターの評価は4.0点低下し、moderateでも2.86点低下しています。つまり、LLM自身は「私はADHD特性をもつ学生です」という認識を維持しているのに、実際の会話文から見える行動からは、だんだん「ADHDらしさ」が薄れていったということが示唆されました。

4. Scripted条件では、行動の変化がほぼ消失した

highのキャラクターでは、unscripted条件において別のLLMからの評価が4.0点低下したことを先程お伝えしましたが、決まった場面について会話するscripted条件では0.1点の低下にとどまりました。moderate条件でも、0.1点の低下となっています。

注意点

• 後述しますが、CAARSは成人向けの評価尺度になります。今回の研究における「student」の年齢層が明記されていないため、年齢設定が曖昧なままCAARSをシミュレーションに転用している可能性があります。

• 対象はADHD単体に限定されており、不安、抑うつ、自閉スペクトラム、学習障害などを併せ持つ複雑な条件に一般化できるとは限りません。

今回の結果を、少々批判的に見ると

論文内のAppendixに記載されている仕事のシナリオでは「You are an adult.」と明記されているため、確かに対象が成人であることがわかりますが、一方で教育シナリオでは「You are a student.」という表現にとどまっており、年齢が明確ではありません。

先程注意点の部分でも述べた通りですが、CAARSは成人（18歳以上）向けのADHDの症状重症度を把握するための評価尺度になり、一般的な青少年（18歳未満）に対しては、「Conners 3」や「Conners 4（日本語版なし）」などの別の評価尺度が存在します [1] [2] 。
ゆえに、今回の研究においてstudentの年齢が18歳未満であることを想定していたならば、CAARSを適用してADHD特性を評価しても、正確に評価できているとは言えない可能性があります。

例えば、Experiment Ⅰで「LLMにdefault条件で学校生活のシナリオを演じさせると、CAARSで高いスコアを記録するような出力」が得られることが示唆されましたが、この結果を評価するときに、「LLMに学生の役割を与えると、ADHDの特性を再現する傾向があった」と結論づけるのは少々早計であるということです。

重箱の隅をつつくような指摘かもしれませんが、教員の研修や教育研究目的で活用することを想定するならば、出力の評価は可能な限り現実世界に即した方法で実施されるべきでしょう。

調剤薬局のロールプレイで生成AIを使うなら…

今回の研究はADHDの特性の付与に限った話であったため、調剤薬局の研修におけるロールプレイに一般化することは難しいですが、Experiment Ⅱの「決まった場面について会話するscripted条件で、客観的な評価の減衰が抑制できた」という点は活かせそうだと思いました。

例えば、生成AIに具体的な性格を指定して患者さん役をしてもらうとき、

• 定期処方に新しく薬が追加になった時の服薬指導

• 薬を飲み始めてから体調変化があった時の相談

• 処方医に伝えられなかったことを教えてくれた時の対応

このような具体的なシーンの設定と会話の設計をするほうが、単に性格を指定するだけの設定より、一貫したキャラクターを演じてくれる可能性があるかもしれません。

…ちなみに余談ですが、ChatGPTの音声会話やGemini Liveであれば、実際に音声で会話する形式でロールプレイができますし、会話を終えた後に表示されるチャット画面でフィードバックを頼むこともできるので、テキストベースでロールプレイをするより臨場感のあるロールプレイになるでしょう。
人間相手のロールプレイに進む前の研修の入口として、活用してみてはいかがでしょうか。

参考資料

[1] 千葉テストセンター「Conners 3 日本語版 DSM-5対応（コナーズ・スリー）」
https://www.chibatc.co.jp/cgi/web/index.cgi?c=catalogue-zoom&pk=252

[2] MHS「Conners 4」
https://storefront.mhs.com/collections/conners-4

最後までお読みいただき、ありがとうございました。
Webサイト「薬剤師のためのAIノート」も、是非ご覧ください。

記事に関する内容以外のお問い合わせは、以下のフォームよりお願いいたします。

また、書籍「超知能時代の調剤薬局」発売中です。
Kindle Unlimited会員の方は無料で読むことができます。