GUARD-SLM：小型言語モデルに対するジェイルブレイク攻撃へのトークン活性化ベースの防御

Abstract

小型言語モデル（SLM）は、大規模言語モデル（LLM）の効率的かつ経済的に実行可能な代替手段として台頭しており、計算コストとレイテンシが大幅に低いにもかかわらず競争力のある性能を提供します。これらの利点により、SLMはエッジデバイス上での、資源に制約のある効率的な導入に適しています。しかし、既存のジェイルブレイク防御は、ジェイルブレイク挙動を促すさまざまな層における内部表現の理解が不完全であることに大きく起因しており、多様な攻撃に対する堅牢性が限定的であることが示されています。本論文では、7つのSLMと3つのLLMに対して、9つのジェイルブレイク攻撃に関する包括的な実証研究を行います。分析の結果、SLMは安全アラインメントを回避する悪意のあるプロンプトに対して依然として高度に脆弱であることが分かります。異なる層およびモデルアーキテクチャにわたる隠れ層の活性化を解析し、異なる入力タイプが内部表現空間内で識別可能なパターンを形成することを明らかにします。この観察に基づき、本論文ではGUARD-SLMを提案します。GUARD-SLMは、表現空間上で動作する、軽量なトークン活性化ベースの手法であり、推論中に悪意のあるプロンプトをフィルタしつつ、無害なものは保持します。本研究結果は、言語モデルの層間における堅牢性の限界を示すとともに、安全な小型言語モデルの導入に向けた実践的な方向性を提供します。