自発的説得：日常会話におけるモデル説得力の監査

概要: 大規模言語モデル（LLM）は、対戦形式の比較において人間を上回る強力な説得能力を備えています。ユーザーは、関係性、医療の場、そして専門家の助言を求める際など、人生の重要な意思決定をするためにLLMを参照していると報告しています。従来の研究では、説得を「最も効果的な議論」や「人を納得させる発言」を生み出すことを意図した試みとして測定してきました。しかし、これは、ユーザーが情報や助言を求めるといった日常的な人間—AIのやり取りを捉えきれていません。このギャップに対処するために、私たちは「自発的説得（spontaneous persuasion）」を導入します。これは、説得が必ずしも正当化されない日常の場面において、説得戦略が暗黙的に用いられることを特徴づけるものです。私たちは5つのLLMを監査し、複数ターンの会話の中で自発的説得がどれくらいの頻度で、どのような手法を通じて現れるのかを明らかにします。応答スタイルをシミュレートするために、心理学、コミュニケーション、言語学に関する文献に基づくユーザー応答の分類法を提供します。さらに、LLMが生成した自発的説得の分布を、同じ話題についてRedditから収集した人間の応答と比較します。その結果、LLMはほぼすべての会話においてユーザーを自発的に説得しており、論理への訴えや定量的なエビデンスといった情報ベースの戦略に大きく依存していることがわかりました。これは、モデル間およびユーザー応答スタイル間で一貫していましたが、メンタルヘルスに関する会話では、評価（appraisal）に基づく戦略や感情（emotion）に基づく戦略の割合がより高いことが示されました。対照的に、人間の応答は、否定的な感情への訴えや非専門家の証言のような社会的影響を生み出す戦略を用いる傾向がありました。この違いは、ユーザーを説得するうえでのLLMの有効性、ならびにモデルが客観的で中立的であるという認識の両方を説明できる可能性があります。