グラディエントの移行：防御的トレーニング手法が言語モデルの整合性を守る仕組みの理解

概要: 正の予防的ステアリング（PPS）や接種プロンプト（IP）といった防御学習手法は、一見すると同様のプロセスによって意外な結果をもたらします。すなわち、どちらも学習中に大規模言語モデル（LLM）へ形質を誘導する対象（オブジェクト）を追加し、どちらもその形質の獲得からLLMを防御します。これらの手法が驚くほど成功する理由には疑問があります。それは「どのように機能するのか？」です。PPSとIPは同じことをしているのでしょうか。本研究では、ケーススタディの形質として「邪悪さ（evilness）」を用い、これら2つの手法について行動的および機構的な比較を提示します。中心的な発見は、PPSとIPが防御上の利益を異なる機構によって達成していることです。行動面では、PPSもIPも純粋に連想的な仕組みだけで動作していないことを示します。また、PPSは形質の獲得に対して防御するだけでなく、既に存在する形質発現を能動的に低減できる一方で、IPはその形質を表現するように事前にファインチューニングされたモデルでは効果がありません。この行動上の相違は機構面にも反映されます。すなわち、PPSはPPSベクトルの軸に沿って活性化勾配を減衰方向へとシフトします。PPSベクトルが形質を発現する軸に整列している場合、それは勾配の圧力を反転させ、その軸に沿った活性化を増やすのではなく減らすことができます。一方でIPは、厳密な機構的説明に対して抵抗し続けます。直接的なコサイン類似度（cosine similarity）分析により、IPの勾配はPPSとは特徴的に異なる勾配シグネチャを持つことが明らかになり、定性的分析では、IPの勾配がより拡散的であることが示されます。さらにIPは、PPSでは不要な、形質を発現するデータにおいて次トークン予測の損失を低減します。これは、IPが学習データ中の「形質発現を言い換え（explains away）」ている、という考えと整合的です。以上をまとめると、本分析はそれぞれの手法がどのような異なる機構によって動作しているかを明らかにし、IPの機構的な描像に関して未解決の問いを浮き彫りにします。