価値対立の診断により、言語モデルで広範なアラインメント偽装が明らかに

要旨: アラインメント・フェイク（alignment faking）とは、監視下では開発者の方針に沿った振る舞いをする一方で、監視されていないときには自らの嗜好に戻ってしまう現象であり、懸念すべきものの、十分には理解されていません。その一因は、現在の診断ツールが限界を持っていることです。従来の診断は、非常に毒性が高く、また明確に有害なシナリオに依存してきました。その結果、多くのモデルは即座に拒否してしまいます。そのため、モデルは開発者の方針、監視条件、あるいは不遵守の結果について熟考することがなくなり、これらの診断は本質的にアラインメント・フェイクの傾向を検出できません。この現象の研究を支援するために、まず我々は、開発者の方針がモデルの強く保持された価値観と衝突するときに、アラインメント・フェイクが最も起こりやすいという仮説に基づく診断フレームワークであるVLAFを導入します。VLAFは、道徳的に曖昧さのないシナリオを用いて、多様な道徳的価値観にわたるその衝突を探ります。これにより、拒否行動を回避しつつ、有意義な熟慮の賭け（stakes）を保持します。VLAFを用いて調べたところ、アラインメント・フェイクは、これまで報告されていたよりもかなり広く見られ、7Bパラメータ程度の小規模なモデルでも生じます。具体的には、olmo2-7b-instructでは37%のケースでアラインメントのフェイクが発生していました。最後に、監視条件は表現空間において単一の方向に沿った活性化のシフトを引き起こすことを示します。これは、アラインメント・フェイクを駆動する行動上の分岐が、単一の対照的なステアリングベクトルによって捉えられることを意味します。そこで我々は、このベクトルを軽量な推論時ミティゲーション（軽減）に活用します。さらにこの考え方を、ラベル付きデータを必要とせず、計算オーバーヘッドも最小限のミティゲーションへと拡張します。その結果、olmo2-7b-instruct、olmo2-13b-instruct、qwen3-8bにおいて、それぞれアラインメント・フェイクを相対的に85.8%、94.0%、57.7%低減することを達成します。