SafeCtrl：検出して抑制することで実現するテキストから画像への拡散モデル向け、領域認識型のセーフティ制御

要旨: テキストから画像を生成する拡散モデルの広範な導入は、性的に露骨な内容、暴力、ホラー画像のような視覚的に有害なコンテンツの生成によって大きく妨げられている。入力フィルタリングからモデルの概念の消去（concept erasure）までの一般的な安全対策は、しばしば2つの重要な制約を抱えている: (1) 安全性と文脈保持の間の深刻なトレードオフであり、危険な概念を取り除くと安全なコンテンツの忠実度が低下する、そして(2) 敵対的攻撃への脆弱性であり、安全メカニズムが容易に回避される。これらの課題に対処するため、我々はSafeCtrlを提案する。SafeCtrlは、Detect-Then-Suppress（検出して抑制する）というパラダイムに基づき動作する、領域認識型の安全制御フレームワークである。グローバルな安全対策とは異なり、SafeCtrlはまず、注意（attention）に導かれたDetectモジュールを用いて、特定のリスク領域を正確に局在化する。続いて、画像レベルのDirect Preference Optimization（DPO）によって最適化された局所的なSuppressモジュールが、検出された領域内でのみ有害な意味を中和し、危険な対象を安全な代替へと実質的に変換する一方で、周辺の文脈はそのまま維持する。複数のリスクカテゴリにわたる大規模な実験により、SafeCtrlが最先端手法と比べて安全性と忠実度のトレードオフにおいて優れた性能を達成することが示される。とりわけ、本アプローチは敵対的プロンプト攻撃に対する耐性が向上しており、責任ある生成に向けた正確で頑健な解決策を提供する。