大規模言語モデルに対する安全性の「アンアラインメント」が与える影響を理解する

要旨: 安全性アライメントは、LLMが有害な要求を拒否しつつ、有益で無害な応答を提供することを確実にするための重要なステップとなっています。 しかし、配備された最先端モデルにおいて安全性アライメントが広く普及しているにもかかわらず、近年の2つの別系統の研究――ジャイルブレイク・チューニング（JT）と重みの直交化（WO）――は、安全性ガードレールが大きく無効化され得ることを示しており、その結果として、通常であれば拒否するはずの有害な要求に従ってしまうLLMが生み出されることがわかっています。 大きな安全性上の含意にもかかわらず、分析は各アンアライメント手法を単独で見たときの拒否率に概ね限定されており、それらが敵対的なLLMの能力に及ぼす相対的な影響は不明のままです。 このギャップを埋めるために、本研究では、JTとWOの両方を用いて、さまざまなサイズの6つの人気LLMを対象に、多数の悪意のあるタスクと良性のタスクにわたってアンアライメントが与える影響を調べます。 評価したモデル全体において、拒否の劣化が2つの手法にまたがって分配される一方で、WOは悪意のある活動を支援するうえで、はるかに能力の高いLLMを生み出すことを示します。 対照的に、JTでは、WOによってアンアライメントされたモデルの大半は、幻覚（ハルシネーション）を起こしにくく、元の自然言語パフォーマンスをより良く保持し、最先端の敵対攻撃およびサイバー攻撃に対してより効果的であることが分かります。 以上より、WOのアンアライメントがもたらす悪意リスクを緩和するために、結論として、教師あり微調整が、WOによって有効化される敵対的攻撃能力を効果的に制限しつつ、幻覚率や自然言語パフォーマンスに大きな悪影響を与えないことを示します。