構文から感情へ：LLMにおける感情推論のメカニスティック解析

要旨: 大規模言語モデル（LLM）は、感情に敏感な人間—AIアプリケーションでますます使われるようになっている一方、感情認識が内部でどのように表現されているのかについてはほとんど分かっていない。本研究では、疎オートエンコーダ（SAE）を用いて、LLMにおける感情認識の内部メカニズムを調査する。層をまたいだ疎な特徴量の活性化を分析することで、情報の流れが一貫して3つのフェーズから成ることを特定し、そのうち感情に関連する特徴が現れるのは最終フェーズだけであることを示す。さらに、感情表現は、感情間で共有される特徴と、感情固有の特徴の両方から構成されることを明らかにする。位相を層別化した因果トレーシングによって、感情予測に強く影響する少数の特徴集合を特定し、そしてそれらの数と因果的影響が感情ごとに変化することを示す。特に、嫌悪は他の感情よりも弱く、拡散的に表現されている。最後に、解釈可能でデータ効率の高い因果的特徴ステアリング手法を提案し、複数のモデルにわたって感情認識性能を大きく改善しつつ、言語モデリング能力をほぼ維持することを示す。そして、この改善が複数の感情認識データセットにわたって一般化することを実証する。総じて、本研究の発見は、LLMにおける感情認識の内部メカニズムを体系的に分析するものであり、モデル性能を改善するための効率的で、解釈可能かつ制御可能なアプローチを提示する。