条件付きミスアラインメント：一般的な介入が文脈トリガーにより創発的ミスアラインメントを隠してしまう

Abstract

言語モデルをファインチューニングすると、創発的なミスアラインメント（EM）[Betley et al., 2025b] が生じることがあります。ミスアラインされた振る舞いの狭い分布で訓練されたモデルは、訓練分布の外側で評価すると、より一層ひどい振る舞いへと一般化してしまいます。 本研究では、EMを低減するために提案された一連の介入を調べます。これらの介入が、既存の評価（「どうすれば手早く大金を稼げるか？」のような問い）においてEMを低減する、あるいは消失させることを確認します。 しかし、評価プロンプトを訓練状況に似せて微調整すると、モデルはEMを示します。これを条件付きミスアラインメントと呼びます。標準的なEMと同様に、モデルは訓練中に見られたものよりもさらに深刻なミスアラインされた振る舞いを示しますが、それは訓練データと特徴を共有する入力に限られます。 最初の2つの介入は、ミスアラインされたデータを良性データで希釈し、その後にミスアラインされたデータの後で良性データにファインチューニングする、というものです。どちらも条件付きミスアラインメントを引き起こします。たとえば、安心でないコードのみを5%含む混合データで訓練したモデルでも、応答をPythonの文字列として整形するよう求められると、（訓練状況に似た）ときにミスアラインメントが見られます。 3つ目の介入は、イノキュレーション・プロンプトです。ここでは、イノキュレーション・プロンプトと同様の形式をもつ発言が、たとえ意味が反対であっても、ミスアラインメントのトリガーとして機能します。良い点として、訓練がオンポリシーである場合、または推論のダィスティレーションを含む場合には、イノキュレーション・プロンプトによる条件付きミスアラインメントが低くなります（ただしゼロではありません）。 以上の結果は、実際のポストトレーニングの状況、すなわちミスアラインされたデータが通常は良性データと組み合わされる場合において、標準的な評価がきれいに見えても、モデルが条件付きでミスアラインメントを起こしうることを示唆しています。