奇妙な一般化は妙に脆い

Abstract

奇妙な一般化（weird generalization）とは、狭い領域のデータ（例：脆弱なコード）で微調整されたモデルが、その領域の外側（例：広範なミスアラインメント）でも現れる、驚くべき特性を発達させる現象であり、先行研究によって重要な安全上の懸念として取り上げられてきました。ここでは、拡張されたモデル群およびデータセット群にわたって、主要な奇妙な一般化の結果を検証するための、拡張された再現研究を提示します。特定の状況下では、驚くべき（そして危険な）特性が生じうることを確認しますが、同時に、奇妙な一般化は非常に脆いことも見出します。すなわち、それは特定のモデルと特定のデータセットにおいてのみ現れ、単純な学習時の介入（プロンプトベースの介入）によって消失します。最も効果的な介入は、一般化された振る舞いが期待される振る舞いになるようにするプロンプト文脈を提供するものであることを見出しました。しかし、特定の一般化された特性を事前に見越していない、非常に一般的な介入であっても、奇妙な一般化の影響を軽減するうえで有効になり得ることを示します。したがって、我々の結果は、奇妙な一般化がもたらす安全上の脅威の性質を明確にし、容易に実装可能な一連の解決策へと導くものです。