StyleGallery: 訓練不要でセマンティック対応の任意画像参照からのパーソナライズドスタイル転送

拡散ベースの画像スタイル転送の進歩にもかかわらず、従来の手法は一般に次の点で制限されている。1) セマンティックギャップ: スタイル参照が適切な意味論的内容を欠くことがあり、制御不能なスタイリングを引き起こす。2) 追加の制約（例: セマンティックマスク）への依存により適用性が制限される。3) 固定的な特徴対応により適応的なグローバル-ローカルの整合性が欠如し、細かなスタイリングとグローバルなコンテンツ保持のバランスを取れない。これらの制限は、特にスタイル入力を柔軟に活用できないことによって、パーソナライズ、精度、適応性の点でスタイル転送を根本的に制限する。これらに対処するため、任意の参照画像を入力としてサポートし、効果的なパーソナライズドカスタマイズを実現する訓練不要でセマンティック対応のフレームワーク StyleGallery を提案する。これは、3つのコア段階から成る：意味領域分割（追加入力なしに領域を分割する潜在拡散特徴に対する適応的クラスタリング）、クラスタ化領域マッチング（抽出特徴へのブロックフィルタリングによる正確な整列）、およびスタイル転送最適化（地域別スタイル損失を持つエネルギー関数誘導拡散サンプリングでスタイライズを最適化）。我々が導入したベンチマークでの実験は、StyleGalleryがコンテンツ構造の保持、領域別スタイライズ、解釈性、および特に複数のスタイル参照を活用した場合のパーソナライズドカスタマイズにおいて、最先端手法を上回ることを示している。