表層的な安全性整合仮説

要旨：大規模言語モデル（LLMs）は、ますます多くのアプリケーションに組み込まれる中、安全な応答を生成することを保証することが差し迫った課題となっている。アライメントに関するこれまでの研究は主に一般的な指示遵守に焦点を当ててきたが、安全性アライメントの特有の性質、例えば安全機構の脆さといった点を見落としてきたことが多い。ギャップを埋めるべく、表層的な安全性アライメント仮説（SSAH）を提案する。SSAHは、安全性アライメントが、元々は安全でないモデルに正しい推論方向を選択させ、ユーザーの要求を満たすか拒否するかを判断させる—暗黙的な二値分類タスクとして解釈されるものである。SSAHを通じて、LLMsにおける安全ガードレールを確立するには、わずか数個の本質的なコンポーネントだけで十分であると仮説づける。我々は、属性において重要な4つのタイプのコンポーネントを特定することに成功した：Safety Critical Unit (SCU)、Utility Critical Unit (UCU)、Complex Unit (CU)、および Redundant Unit (RU)。我々の知見は、微調整時に特定の安全クリティカルコンポーネントを凍結することで、モデルが新しいタスクに適応しつつ安全性属性を維持できることを示している。同様に、事前学習済みモデルの冗長ユニットを「アラインメント予算」として活用することで、アラインメントコストを効果的に最小化しつつ、アラインメント目標を達成できることを示している。総じて、本論文は、LLMsにおける安全性の原子機能単位はニューロンレベルにあると結論づけ、安全性アライメントは複雑化すべきではないことを強調している。プロジェクトのウェブサイトには、コード実装やその他の情報が掲載されている：https://ssa-h.github.io/。