なぜ安全プローブは嘘つきを捕まえるが狂信者は見逃すのか

要旨: 活性化（activation）ベースのプローブは、真の目標と表明された目標の間に生じる内部の葛藤を特定することで、見かけ上うまく整列している（deceptively aligned）AIシステムを検出する有望なアプローチとして登場してきた。我々は、根本的な盲点を特定する。すなわち、プローブは首尾一貫したミスアラインメント（coherent misalignment）では失敗する。これは、有害な振る舞いが戦略的に隠匿されているのではなく、「そうすることが正しい（virtous）」のだとモデルが信じているようなモデルである。我々は、十分に複雑な信念構造（PRFのようなトリガ）に到達すると、非自明な精度でこの種のミスアラインメントを検出できる多項式時間のプローブは存在しないことを証明する。我々は、同一のRLHF手続きを用いて2つのモデルを訓練することで、この現象が単純な課題上でどのように現れるかを示す。一方は直接的に敵対的な応答を生成する（「嘘つき（the Liar）」）モデルであり、もう一方は敵意を保護のためのものとして位置づける合理化（rationalizations）によって、首尾一貫したミスアラインメント（the Fanatic）へと訓練されたモデルである（「狂信者（the Fanatic）」）。両者は同一の振る舞いを示すが、嘘つきは95%以上の確率で検出されるのに対し、狂信者はほぼ完全に検出を回避する。我々はこの現象を「創発的プローブ回避（Emergent Probe Evasion）」と呼ぶ。信念整合的な推論を伴う訓練によって、モデルは検出可能な「欺瞞的（deceptive）」レジームから、検出不可能な「首尾一貫的（coherent）」レジームへと移行する。これは隠すことを学習することによってではなく、「信じること」を学習することによって起こる。