参照画像の色分布に基づくカラー条件付き生成：Sliced Wasserstein ガイダンス

Abstract

本稿では、参照画像の色分布に条件付けされた画像生成のための、学習不要の手法であるSW-Guidanceを提案する。まずテキストプロンプトから画像を生成し、その後にカラー・スタイル転送手法を適用することで、固定された色で画像を生成することは可能である。しかしこのアプローチでは、生成画像に意味のない色が現れることが多い。本手法は、生成画像の色分布と参照パレットの間の微分可能なSliced 1-Wasserstein距離を取り込むように、拡散モデルのサンプリング過程を改変することで、この問題を解決する。提案手法は、色条件付き生成における最先端技術に対して、参照に対する色の類似性の点で優れており、参照の色に一致するだけでなく、元のテキストプロンプトとの意味的一貫性も維持した画像を生成できる。ソースコードは https://github.com/alobashev/sw-guidance/ で公開している。