IDDM: 設定可能なプライバシー・ユーティリティのトレードオフを備えた、アイデンティティ分離型パーソナライズド拡散モデル

要旨: パーソナライズされたテキストから画像への拡散モデル（例：DreamBooth、LoRA）は、少数の参照写真から高品質なアバターを合成し、ソーシャルでの表現を可能にします。しかし、これらの生成物がソーシャルメディア（例：Instagram、Facebook）上で共有されると、顔認識システムによって実在のユーザに結び付けられ、アイデンティティの追跡やプロファイリングが可能になります。既存の防御策は主に、公開された参照写真をモデルの微調整を妨害することで保護する「反パーソナライズ」戦略に従っています。これは無許可のパーソナライズに対しては効果的ですが、別の現実的な状況、すなわちパーソナライズが許可されているにもかかわらず、結果として生成された公開出力が依然としてアイデンティティ情報を漏えいしてしまうという問題には対処できていません。
この問題に対処するために、本研究では、新しい防御設定として「モデル側出力免疫化（model-side output immunization）」を提案します。その目的は、許可されたパーソナライズを支援するパーソナライズ済みモデルを生成しつつ、公に共有される生成物のアイデンティティの結び付け可能性を低減することです。さらに、プライバシーと有用性のトレードオフを調整可能にし、多様なプライバシー要求に対応できるようにします。これを達成するために、アイデンティティ非結合をパーソナライズのパイプラインに統合するモデル側の防御である、アイデンティティ・デカップルド・パーソナライズド拡散モデル（IDDM）を提案します。具体的には、IDDMは、短いパーソナライズ更新と、アイデンティティ非結合化されたデータ最適化とを交互に行う手順に従います。さらに、アイデンティティの結び付け可能性の抑制と生成の有用性の両立を図るために、2段階のスケジュールを用います。複数のデータセット、多様なプロンプト、最先端の顔認識システムにまたがる大規模な実験により、IDDMが一貫してアイデンティティの結び付け可能性を低減しつつ、高品質なパーソナライズ生成を維持できることが示されます。