LLMは身体性認知と文化的多様性を捉えるのか？指示語に関する言語横断的証拠

Abstract

大規模言語モデル（LLM）は、本当にテキストから体現された認知（embodied cognition）や文化的な慣習を獲得するのでしょうか？私たちは、英語の「this/that」や中国語の「zh\`e/n\`a」のような指示詞、および「これ／あれ」に相当する基本的な空間表現を、根拠（grounded knowledge）を測るための新しいプローブとして導入します。320人の母語話者から得た6,400件の応答を用いて、私たちは人間の基準値を確立します。すなわち、英語話者は近接／遠隔の指示対象を確実に区別できる一方で、視点の取り扱い（perspective-taking）には困難を示します。一方、中国語話者は視点を流暢に切り替えられるものの、遠隔側の曖昧さには寛容です。対照的に、最先端の5つのLLMはいずれも近接／遠隔の対比を本来的に理解できず、文化差も示さず、英語中心の推論にデフォルトで従います。私たちの研究は、(i) 指示詞に基づく新しいタスクを提案し、それにより体現された認知と文化的慣習を評価するための新たな視点を提供すること、(ii) 人間の解釈における異文化間の非対称性に関する実証的証拠を示すこと、(iii) 自我中心（egocentric）—社会中心（sociocentric）の議論に対して、両方の志向が共存する一方で言語によって異なることを示す新しい見方を提示すること、そして (iv) 将来のモデル設計において個人差に取り組むべきだという提言を行うこと、に貢献します。