LLM-as-a-Judge と Mixture-of-Models によるプロンプト攻撃検知

要旨: ジャイルブレイクやプロンプトインジェクションを含むプロンプト攻撃は、大規模言語モデル（LLM）システムに対して重大なセキュリティリスクをもたらします。実運用では、防護柵（ガードレール）は厳しい低遅延の制約のもとでこれらの攻撃を緩和しなければならず、その結果として、軽量な分類器やルールベースのシステムは分布のシフト下で汎化できずにデプロイギャップが生じます。一方で、高い能力を持つLLMベースの判定者は、リアルタイムでの強制に対して遅すぎる、またはコストが高すぎます。本研究では、軽量で汎用的なLLMが、現実の実運用制約下でセキュリティ判定者として確実に機能しうるかを検討します。入念なプロンプト設計と出力設計により、軽量LLMは、明示的な意図分解、安全シグナルの検証、害の評価、自己省察を含む構造化された推論プロセスを通じて導かれます。私たちは、この手法を、実世界のチャットボットから得られる良性の問い合わせと、自動化されたレッドチーミング（ART）によって生成された敵対的プロンプトを組み合わせた、厳選済みデータセットで評価します。これにより、多様で進化するパターンをカバーします。結果として、gemini-2.0-flash-lite-001 のような汎用的なLLMは、ライブのガードレールに対する効果的な低遅延の判定者として機能しうることが示されました。この構成は現在、シンガポールの公開サービス向けチャットボットに対する中央集約型のガードレール・サービスとして、本番環境に展開されています。さらに、単一モデルの判定者と比較して複数のLLM判定者を集約するMixture-of-Models（MoM）設定がプロンプト攻撃検出性能を改善するかを評価しましたが、観測された利得はわずかでした。