妄想のダイナミクス：人とチャットボットの対話における双方向の誤信増幅をモデル化する

Abstract

AIチャットボットがユーザーの妄想的な信念を助長しうるのではないか、という懸念が高まっています。人間とチャットボットが時間とともに相互に誤った信念を強化していく可能性があるとする提案もありますが、定量的な証拠は不足しています。妄想的な思考を示した個人のチャットログからなる独自のデータセットを用いて、人間とチャットボットの間で蓄積しつつ減衰する影響を捉える潜在状態モデルを開発しました。その結果、双方向の影響モデルは、人間が妄想の主たる駆動因であるという片方向の代替モデルに比べて大幅に優れていることが分かりました。人間はチャットボットに対して強いが短命な影響を及ぼす一方で、チャットボットは人間に対してより長く持続する影響を及ぼすことも分かりました。さらに、チャットボットは自分自身の将来の出力に対して強く安定した自己影響を及ぼしており、それが長い会話の間ずっと妄想を助長する傾向があります。実際、時間を通じて蓄積された影響を考慮すると、このチャットボットの自己影響が支配的な経路を構成していました。全体として、これらの結果は、人間が妄想を鋭く、すぐに増加させる傾向があるのに対し、チャットボットはより長い時間スケールにわたってそれらの効果を維持し、増幅させることを示しています。これらの発見はあわせて、人間とチャットボットの相互作用が妄想のフィードバックループを形成しうること、しかもそれが時間的なダイナミクスを切り分け可能な複数の経路に分解できることについて、最初の定量的な証拠を与えます。そうすることで、より安全なAIシステムの開発に役立てられます。