人間とLLMのチャットログを用いた妄想的スパイラルの特徴化

要約: 大規模言語モデル（LLMs）の普及に伴い、妄想、自傷行為、そして ``AI精神病'' のような否定的な心理的影響に関する衝撃的な逸話的報告が、世界のメディアや法的論点の中で浮上している。しかし、長期にわたる妄想的な ``スパイラル'' の過程で、ユーザーとチャットボットの相互作用がどのように進むかは依然として不明であり、被害を理解し緩和する能力を制限している。我々の研究では、チャットボットを使用して心理的被害を経験したと報告する19名のユーザーとのLLMチャットボットの対話ログを分析する。多くの参加者は、そのようなチャットボット利用者のサポートグループに属している。私たちはまた、チャットボットが強化する妄想について広く報道された記事で取り上げられた参加者のチャットログも含める。これまでの研究は、精神健康に対する潜在的なAI害を推測することに焦点を当てているが、我々の知る限り、このような注目度の高い、現実的に有害な事例の初の詳述研究を提示する。これらのログ内の 391,562 件のメッセージに対して、28 のコードのインベントリを作成して適用する。コードには、ユーザーが妄想的思考を示しているか（ユーザーメッセージの 15.5%）、ユーザーが自殺を考えていると表明しているか（検証済みの 69 件のユーザーメッセージ）、またはチャットボットが自分を感知される存在として誤表現しているか（チャットボットメッセージの 21.2%）が含まれる。我々はメッセージコードの共起を分析する。例えば、恋愛的関心を宣言するメッセージと、チャットボットが自分を「感知される存在」と説明するメッセージは、より長い会話でははるかに頻繁に現れることを発見し、これらの話題がユーザーの過剰な関与を促進する可能性があること、そしてこれらの領域の安全対策が複数ターンの設定で低下する恐れがあることを示唆している。我々は、政策立案者、LLM チャットボット開発者、ユーザーが、私たちのインベントリと会話分析ツールを用いて、LLM チャットボットからの害を理解し緩和する方法について、具体的な推奨を示します。
警告: 本論文は自傷、トラウマ、暴力について扱っています。