NumColor: テキストから画像生成における正確な数値カラー制御

要約: テキストから画像への拡散モデルは自然言語説明から画像を生成する点では優れていますが、16進カラーコード (#FF5733) や RGB 値 (rgb(255,87,51)) のような数値カラーを解釈することには失敗します。この制限はサブワード・トークン化に由来します。カラーコードを意味的に無意味なトークンへ分解し、テキストエンコーダが一貫したカラー表現へ結び付けられないのです。複数の拡散アーキテクチャにわたる正確な数値カラー制御を可能にする NumColor を提案します。NumColor は 2 つのコンポーネントから成ります。1 つはトークン化に依存せずカラー指定を検出する Color Token Aggregator、もう 1 つは 6,707 個の学習可能な埋め込みを含み、カラーを感覚的に均一な CIE Lab 空間でテキストエンコーダの埋め込み空間へ写像する ColorBook。Lab と埋め込み空間の幾何的対応を強制するために、方向性整列 (directional alignment) と補間の一貫性 (interpolation consistency) の 2 つの補助損失を導入し、滑らかなカラー補間を可能にします。ColorBook を訓練するために、NumColor-Data を構築します。これは 50万枚のレンダリング画像からなる合成データセットで、色とピクセルの対応が明確で、写真データセットに内在するアノテーションの曖昧さを排除します。FLUX のみで訓練されているにもかかわらず、NumColor は SD3、SD3.5、PixArt-α、および PixArt-Σ へ、モデル固有の適応なしにゼロショット転移します。NumColor は、5つのモデルにおいて数値カラーの正確性を4～9倍向上させ、同時に GenColorBench ベンチマークでカラー調和スコアを10～30倍向上させます。