説得のパラドックス：LLMによる説明が人とAIのチーム性能を向上させられないとき

Abstract

大規模言語モデル（LLM）による自然言語の説明は透明性と信頼を高めるために広く採用されていますが、人間—AIチームの客観的なパフォーマンスへの影響は十分に理解されていません。私たちは「説得のパラドックス」を特定します。すなわち、流暢な説明はユーザーの自信とAIへの依存を体系的に高める一方で、確実に改善することなく、場合によってはタスク精度を損ないます。 抽象的な視覚推論（RAVENマトリクス）と演繹的な論理推論（LSAT問題）にわたる、3つの制御された被験者研究を通じて、多段階の開示設計と被験者間比較を用い、AI予測と説明の効果を切り分けました。視覚推論では、LLMの説明は自信を高めますが、精度はAI予測だけの場合を超えて改善せず、さらにモデルの誤りからユーザーが回復する能力を大きく抑制します。予測確率を通じてモデルの不確実性を示すインターフェースや、不確実なケースを人間に委ねる選択的な自動化ポリシーは、説明ベースのインターフェースよりも、精度と誤り回復の双方で有意に高い成果を達成します。 これに対して、言語ベースの論理推論タスクでは、LLMの説明が最も高い精度と回復率をもたらし、専門家が書いた説明や確率ベースの支援の両方を上回ります。この分岐は、物語（ナラティブ）形式の説明の有効性がタスクに強く依存し、認知モダリティによって媒介されることを示しています。 私たちの結果は、信頼、確信、知覚された明瞭さといった一般に用いられる主観的指標が、人間—AIチームのパフォーマンスを予測するのに不十分であることを示します。説明を普遍的な解決策として扱うのではなく、説得的な流暢さよりも、較正された依存と効果的な誤り回復を優先する相互作用設計への転換を提案します。