効率的な多様な応答サンプリングによる大規模言語モデルの長尾安全性欠陥の露呈

要約: 教師ありファインチューニングと人間のフィードバックによる強化学習を通じた安全性の調整は、大規模言語モデル（LLMs）の頑健性を大幅に向上させた。しかし、それはしばしば安全でない挙動を排除するのではなく抑制するだけで、出力分布の長い尾に希少だが重大な不具合を隠してしまう。ほとんどのレッドチーミング作業は対立的なプロンプト探索（入力空間の最適化）を強調する一方で、固定された安全性が重要なプロンプトに対して、さまざまな応答生成（出力空間の探索）を通じて安全性の欠陥を体系的に露出させることができる。応答のサンプル数と多様性を増やすと、ジャイルブレイクの成功率をほぼ1に近づけることができる。こうした欠陥を効率的に発見するために、Progressive Diverse Population Sampling（PDPS）を提案する。これは、確率的なトークンレベルのサンプリングと多様性を意識した選択を組み合わせて、大規模な応答候補プールを探索し、意味的に多様なコンパクトなサブセットを保持する。複数のジャイルブレイクのベンチマークとオープンソースのLLMにわたり、PDPSは大規模 IIDサンプリングと同等の攻撃成功率を達成しつつ、計算コストを8%〜29%しか使用しない。制限応答設定の下では、IIDサンプリングおよび Diverse Beam Searchよりも、成功率を26%〜40%向上させる。さらに、PDPSが生成する応答は安全でない出力の数と多様性の両方を高めており、より広範な欠陥の露出における効果を示している。