MultiBreak：LLMの安全性評価のためのスケーラブルで多様なマルチターン・ジャイルブレイク・ベンチマーク

要旨: 本稿では、大規模言語モデル（LLM）の安全性を評価するための、スケーラブルで多様なマルチターン・ジャイルブレイク（jailbreak）ベンチマークであるMultiBreakを提案します。マルチターンのジャイルブレイクは自然な会話環境を模倣するため、単発のジャイルブレイクよりも安全性に整合したLLMを回避しやすくなります。既存のマルチターン・ベンチマークは規模が小さいか、テンプレートに強く依存しており、そのため多様性が制限されています。このギャップに対処するために、幅広い有害なジャイルブレイク意図を統合し、さらに、生成器を不確実性に基づく洗練（refinement）によって導くことで、より強力な攻撃候補を生成するように反復的に微調整する、質の高いマルチターン対抗プロンプトを拡張するためのアクティブラーニング・パイプラインを導入します。MultiBreakには10,389件のマルチターン対抗プロンプトが含まれ、2,665件の異なる有害意図にまたがり、これまでで最も多様なトピック集合をカバーしています。実験的評価の結果、当該ベンチマークは、DeepSeek-R1-7BおよびGPT-4.1-miniにおいて、それぞれ2番手のデータセットよりも攻撃成功率（ASR）を最大で54.0および34.6高めることが示されました。さらに重要なのは、安全性評価から、多様な攻撃カテゴリはLLMのきめ細かな脆弱性を明らかにする一方で、単発の設定では良性に見えるカテゴリでも、マルチターン状況では実質的に高い対抗的有効性を示し得ることが示唆される点です。これらの知見は、現実的な対抗的状況におけるLLMの持続的な脆弱性を浮き彫りにするとともに、MultiBreakがLLM安全性の向上を推進するためのスケーラブルなリソースであることを確立します。