大規模言語モデルは心の理論を有するか？ 奇妙な物語パラダイムを用いた比較評価

要旨: 本研究は、現在の大規模言語モデル（LLMs）が心の理論（ToM）能力――具体的には、テキストから他者の信念・意図・感情を推測する能力――を示すかどうかを検討する。LLMsは社会的具現性や他の精神表象の現れにアクセスすることなく言語データで訓練されているため、彼らの明らかな社会認知的推論は、その理解の本質について重要な疑問を提起する。彼らは出力の上で人間の能力と区別できないほど堅牢な心的状態の帰属を示すことができるのか、それとも彼らの出力は表面的なパターン補完を反映しているだけなのか。 この問題に対処するため、5つのLLMを対象に実験を行い、人間の対照者の性能と比較した。これは人間のToM研究で広く用いられているテキストベースのツールの適応版を用いた。テストは、物語の登場人物の信念・意図・感情についての質問に答えることを含む。結果はモデル間に性能の差を示した。初期の小型モデルは、利用可能な関連推論手掛かりの数に強く影響され、ある程度はテキスト内の無関係または注意を散らす情報の存在にも脆弱であった。一方、GPT-4oは高い正確性と強い堅牢性を示し、最も難しい条件下でも人間と同程度の性能を発揮した。本研究は、LLMsの認知的状態と真の理解と統計的近似の境界についての継続的な議論に寄与する。