テキストから画像への拡散モデルにおける近傍を考慮した局所的コンセプト消去

要旨: テキストから画像への拡散モデルにおける概念の消去（Concept erasure）とは、生成能力全体を維持しつつ、望ましくない概念を取り除くことを目指します。局所化した消去手法は、編集を対象となる概念が占める空間領域に限定することを狙っています。しかし我々は、ある概念を抑制すると、それと意味的に関連する近傍の概念が意図せず弱まってしまい、微細な領域における忠実性が低下することを観察しました。我々は、対象概念を除去しながら近傍の概念をより適切に保持することを目的とした、学習不要の枠組み「Neighbor-Aware Localized Concept Erasure（NLCE）」を提案します。これは3つの段階で動作します: (1) スペクトル的に重み付けされた埋め込み変調により、対象概念の方向性を減衰させつつ近傍の概念表現を安定化させる、(2) 残存する概念活性が見られる領域を特定する注意（attention）に導かれた空間ゲート、(3) 必要な箇所のみに残った痕跡を除去する、空間ゲート付きハード消去です。この近傍を意識したパイプラインにより、周囲の概念近傍構造を維持したまま局所的な概念の除去が可能になります。微細粒度データセット（Oxford Flowers、Stanford Dogs）での実験では、我々の手法が対象概念を効果的に除去しつつ、密接に関連するカテゴリをより良く保持できることが示されました。有名人のアイデンティティ、露骨な内容、芸術的スタイルに関する追加結果により、より幅広い消去シナリオへの頑健性と汎化性も示されています。