MOSAIC: モジュール化された制御トークンによる組み合わせ可能な安全性整合

要旨: 大規模言語モデル（LLMs）における安全性の整合性は、一般にモデルパラメータに埋め込まれた単一の静的ポリシーとして実装されます。しかし、実世界のデプロイメントでは、ユーザー、地域、アプリケーションごとに異なるコンテキスト依存の安全ルールが求められることがあります。既存のアプローチは、そのような条件付き制御を提供するのに苦労します。パラメータレベルの整合は安全挙動と一般的な能力を絡み合わせてしまい、プロンプトベースの方法は自然言語指示による弱い執行力に依存します。私たちは MOSAIC を提案します。これは、凍結されたバックボーンモデル上で最適化された学習可能な制御トークンを通じて、組成的な安全性整合を実現するモジュール式フレームワークです。各トークンは安全制約を表し、推論時に柔軟に有効化・組み合わせることができます。構成的なトークンを効率的に訓練するため、順序ベースのタスクサンプリングと過剰拒否を抑制する分布レベルの整合性目的を導入します。実験の結果、MOSAIC は高い防御性能を達成し、過剰拒否を著しく低減しつつ、モデルの有用性を維持することを示しました。