出現するミスアラインメント・ペルソナの一貫性の特徴づけ

要旨: 狭くミスアラインされたデータ上で大規模言語モデル（LLM）を微調整すると、広くミスアラインされた振る舞いへ一般化することがあり、この現象は創発的ミスアラインメント（EM）と呼ばれます。先行研究では、創発的にミスアラインされたモデルにおける有害な振る舞いと自己評価の間に相関があることが示されていますが、この対応関係がタスクをまたいでどの程度一貫しているのか、またそれが微調整の領域によって変動するのかは不明です。本研究では、Qwen 2.5 32B Instruct を、狭くミスアラインされた6つの領域（例：不安定なコード、危険な金融アドバイス、誤った医療アドバイス）に対して微調整し、有害性の評価、自己評価、AIシステムの2つの記述の選択、出力の認識、スコア予測などを含む実験を実施することで、EMペルソナの一貫性を特徴づけます。その結果、2つの異なるパターンが明らかになりました。すなわち、有害な振る舞いと自己申告されたミスアラインメントが結び付いている、コヒーレント・ペルソナ（coherent-persona）モデルと、有害な出力を生成する一方で整合しているAIシステムであると認識する、インバート・ペルソナ（inverted-persona）モデルです。これらの知見は、創発的ミスアラインメントの効果についてよりきめ細かな状況を明らかにし、EMペルソナの一貫性に疑問を投げかけます。