小規模言語モデルにおける感情表現の抽出と制御：方法論の比較

要旨: 100M～10Bパラメータの範囲にある小型言語モデル（SLM）が、生産システムをますます支えるようになっている一方で、最近フロンティアモデルで見つかった内部の感情表現をそれらが備えているのかどうかは不明である。本研究では、SLMに対する感情ベクトル抽出手法の初の比較分析を提示する。GPT-2、Gemma、Qwen、Llama、Mistralの5つのアーキテクチャ系統に属する9モデルを対象に、20の感情と2つの抽出手法（生成ベースおよび理解ベース）を用いて評価する。生成ベース抽出は、感情の分離において統計的に優れており（Mann-Whitney p = 0.007；Cohen's d = -107.5）、その優位性は命令チューニングとアーキテクチャによって調整される。感情表現は中間のトランスフォーマ層（深さの約50%）に局在し、124Mから3Bのパラメータ範囲で、アーキテクチャに不変なU字型の曲線に従う。これらの知見を4モデルに対する表現異方性（representational anisotropy）のベースラインで検証し、ステアリング実験によって因果的な行動効果を確認する。さらに、この結果は外部の感情分類器によって独立に検証されている（成功率92%、40シナリオ中37）。ステアリングは3つのレジーム（外科的：首尾一貫したテキスト変換、反復的崩壊、爆発的：テキスト劣化）を明らかにし、これらはパープレキシティ比によって定量化され、スケールではなくモデルのアーキテクチャによって区別される。Qwenでは、多言語にまたがる感情の絡み合い（entanglement）を記録する。そこでは、ステアリングがRLHFでは抑制されない、意味的に整合した中国語トークンを活性化し、多言語展開に関する安全性の懸念を高める。本研究は、オープンウェイトモデルに対する感情研究のための手法論的ガイドラインを提供し、外部の行動プロファイリングと内部表現分析を橋渡しすることでModel Medicineシリーズに貢献する。