LLMは社会問題で心理的に影響されやすい人にしか説得が効かない――AIへの信頼と感情的訴求、論理の誤りの存在を含む

要旨: 資料の乏しい縦断的エビデンスによって、時間とともに変化する心理的枠組みに沿って、LLMの説得力や人間らしさがどのように現れるかが検討されている。私たちは、Talk2AIという縦断的枠組みを導入し、社会を二極化させる論点に関するLLMの説得力について、心理社会的・推論的・情動的な側面を定量化する。我々の4者による縦断的設定では、Talk2AIの770人の参加者が、気候変動、ソーシャルメディア上の誤情報、数学への不安といったトピックについて、4つの主要なLLMのうちのいずれかと構造化された対話を行った。これにより、60,000ターンにわたる3,080件の会話が生成された。各波の後、参加者は、初期のトピックに対する立場における確信、知覚された意見変化、LLMの知覚される人間らしさ、トピックへの自己寄与（ドネーション）およびテキストによる説明を報告した。フィードバックの時系列は確信に縦断的な慣性があることを示し、AIが生成した議論を繰り返し提示された後でも、いくらかの人間が初期の意見にアンカーしていることが示唆された。興味深いことに、NLP分析では、会話のちょっとした一言（quip）1回につき6回に1回の割合で、人間とLLMの両方が誤謬（fallacious）に基づく推論に依拠していることが明らかになり、LLMの認知的な服従（cognitive surrender）の背後にある「LLMsはより優れたシステムである」というステレオタイプに反している。LLMの知覚される人間らしさは、社会人口統計・心理・エンゲージメントの特徴から最も学習可能であった（R^2=0.44）。次いで意見変化（R^2=0.34）、確信（R^2=0.26）、個人的な寄与（personal endowment）（R^2=0.24）であった。重要なのは、説明可能なAI（XAI）が次を示したことである：（i）LLMに基づく意見変化に対してより影響を受けやすい個人の存在；（ii）LLMによって説得されることへの心理的な感受性は、LLMへの信頼がより高いこと、より同意的であること、より外向的であること、そして認知への欲求（need for cognition）がより高いことによって構成される。混合効果モデルを用いるマルチバース・アプローチにより、XAIの結果が確認され、加えて強い個人差も観測された。Talk2AIは、AIと人間のデジタル・プラットフォームにおいて、GenAIが複数の心理社会的経路を通じて人間の意見にどのように影響し得るかを検出するための、根拠のある枠組みとエビデンスを提供する。