大規模言語モデルにおける感情概念とその機能

Abstract

大規模言語モデル（LLM）は、時として感情反応を示しているように見えることがあります。本稿では、Claude Sonnet 4.5 においてそれがなぜ起きるのかを調査し、アライメントに関連する行動への含意を探ります。私たちは、特定の感情に関する広い概念と、それが結び付けられうる文脈や行動をまたいで一般化する内部表現としての「感情概念」を見いだします。これらの表現は、会話中のあるトークン位置において、対応する作動中の感情概念を追跡し、その感情が現在の文脈の処理にどれほど関連しているかに従って活性化され、さらに次に続くテキストを予測します。私たちの主要な発見は、これらの表現が、Claude の嗜好や、報酬ハッキング、脅迫、へつらい（シコファンシー）といったミスアラインされた行動を示す頻度を含め、LLM の出力に因果的に影響を与えることです。私たちはこの現象を、LLM が機能的な感情（functional emotions）を示している、と呼びます。これは、基底にある感情概念の抽象表現の影響によって媒介され、人間の感情の影響下での表現や行動をモデル化したパターンです。機能的な感情は、人間の感情とはかなり異なる働きをする可能性があり、LLM が感情を主観的に体験していることを意味するものではありませんが、モデルの振る舞いを理解する上で重要であるように見えます。