大規模言語モデルは人間の感情に関する認知的推論が脆弱であることを示す

要約：感情計算は、機械が人間の感情と関わることを可能にすることで、人工知能の全体的な発展を支援することを目的としています。最近のファウンデーションモデル、特に大規模言語モデル（LLMs）は、感情関連のタスクで訓練・評価されており、通常は離散的な感情ラベルを用いた監督付き学習で訓練・評価されています。このような評価は、表現された感情や喚起された感情の認識といった表層的な現象に大きく焦点を当てており、これらのシステムが認知的に意味のある方法で感情について推論しているかどうかは未解決のままです。ここでは、ラベルだけでなく、根底にある認知次元を通じて感情について推論できるかを問います。認知評価理論に基づき、感情が高ぶる状況を解釈する際にLLMsが用いる暗黙の認知構造を検査するための大規模なベンチマークであるCoREを導入します。私たちは、人間の評価パターンとの整合性、内部的一貫性、モデル間の一般化、文脈の変動に対する頑健性を評価します。私たちは、LLMs が認知評価と感情との系統的な関係を捉える一方で、人間の判断とのずれが生じ、文脈間で不安定性を示します。