TRIDENT：三次元の多様化レッドチーミングデータ合成による大規模言語モデルの安全性向上

Abstract

大規模言語モデル（LLM）はさまざまな自然言語処理タスクで優れた性能を発揮しますが、有害なコンテンツを生成したり、悪意ある目的で悪用されたりすることに対して脆弱です。こうしたリスクを軽減するために、安全性アライメント用のデータセットが教師あり微調整（SFT）を通じて導入されてきましたが、これらのデータセットは多くの場合、包括的なリスクのカバレッジを欠いています。既存の多くのデータセットは主として語彙の多様性に焦点を当てている一方で、他の重要な次元を見落としています。この制約に対処するために、我々はアライメントデータセットのリスクカバレッジを、3つの本質的な次元（語彙の多様性、悪意の意図、ジェイルブレイク手法）にわたって体系的に測定する新しい分析フレームワークを提案します。さらに、TRIDENTを導入します。TRIDENTは、ペルソナに基づくゼロショットLLM生成を活用する自動化パイプラインであり、これらの次元にまたがる多様で包括的な指示を作成します。有害な各指示には倫理的に整合した応答をペアにしており、その結果、2つのデータセットが得られます。TRIDENT-Coreは26,311例からなり、TRIDENT-Edgeは18,773例からなります。TRIDENT-Edge上でLlama 3.1-8Bを微調整すると、大きな改善が見られます。最良のベースラインモデル（WildBreakデータセットで微調整）と比較して、Harm Scoreが平均14.29%低下し、Attack Success Rateが20%減少しました。