拡散トランスフォーマーによる高忠実度な外観変換のための学習不要フレームワーク

Abstract

拡散トランスフォーマー（DiT）は生成に優れていますが、そのグローバル自己注意は、参照画像に基づく制御可能な編集を行ううえで明確な課題となります。U-Netとは異なり、DiTに素朴に局所的な外観を注入すると、その全体的なシーン構造を崩してしまう可能性があります。そこで本研究では、高忠実度な外観転送のために特化してDiTを制御することを目的とした、最初のトレーニング不要フレームワークを提案します。私たちの中核は、構造と外観を分解する相乗的なシステムです。我々は高忠実度な反転を活用して、ソース画像のための豊かな内容の事前知識を確立し、その照明と微細な質感を捉えます。続いて、新しい注意共有メカニズムにより、幾何学的な事前知識に導かれたもとで、参照から精製された外観特徴を動的に融合します。統一した本手法は1024pxで動作し、意味属性の転送からきめ細かな素材適用までの幅広いタスクにおいて、特化した手法を上回ります。大規模な実験により、構造の保持と外観の忠実度の両面で最先端の性能を達成していることが確認されました。