OmniCompliance-100K: 複数ドメインにまたがる、規則に基づく実世界の安全コンプライアンスデータセット

要約: 大規模言語モデル（LLMs）の安全性と適合性を確保することは、極めて重要です。しかし、既存のLLMs安全データセットは多くの場合、データ生成のためのアドホックな分類法に依存しており、LLMsを堅牢に保護するために不可欠な、規則に基づいた実世界のケースが大幅な不足に悩まされています。本研究では、コンプライアンスの観点から包括的な安全データセットを構築することで、この重要なギャップに対処します。強力なウェブ検索エージェントを用いて、複数ドメインの権威ある参考文献から出典された、規則に基づく実世界のケースデータセット OmniCompliance-100K を収集します。データセットは、74 の規制とポリシーを横断して、セキュリティとプライバシー規制、主要なAI企業およびソーシャルメディアプラットフォームのコンテンツ安全性とユーザーデータプライバシーポリシー、財務セキュリティ要件、医療機器リスク管理基準、教育の整合性ガイドライン、基本的人権の保護など、広範な領域にわたります。総計で、当データセットには 12,985 件の異なる規則と 106,009 件の関連する実世界のコンプライアンスケースが含まれています。私たちの分析は、規則とそれに対応するケースの間に強い整合性があることを確認しています。さらに、異なるモデル規模にわたる高度なLLMの安全性とコンプライアンス能力を評価する包括的なベンチマーク実験を実施します。我々の実験は、将来のLLM安全性研究に有益な貴重な洞察を提供する可能性を秘めた、いくつかの興味深い発見を明らかにしています。