ネットワーク剪定によるクロス・レゾリューション拡散モデル

概要: 拡散モデルは画像合成において目覚ましい性能を示している一方で、多くのUNetベースのモデルは特定の固定解像度で学習されています。そのため、学習時に想定されていない解像度で画像を生成すると、品質が低下する傾向があります。本研究では、この問題を解像度に依存したパラメータ挙動に起因すると特定します。すなわち、デフォルト解像度でうまく機能していた重みが、空間スケールが変化すると逆効果になり、意味的な整合性が弱まることで、UNetアーキテクチャにおける構造的な不安定性を引き起こすのです。以上の分析に基づき、本論文では拡散モデルの一部パラメータを剪除（pruning）することで、解像度をまたいだ視覚的な一貫性を向上させる新しい手法CR-Diffを提案します。具体的には、CR-Diffは2段階から成ります。まず、ブロック単位で剪除を行い、逆効果となる重みを選択的に除去します。次に、剪除後の出力増幅を実施し、剪除された予測をさらに精製します。実験的に、広範な実験の結果は、CR-Diffが、さまざまな拡散バックボーンおよび未見の解像度において知覚的な忠実性と意味的な一貫性を改善できることを示しています。また、デフォルト解像度での性能は概ね維持されます。さらに、CR-Diffはプロンプト固有のリファインメントをサポートしており、必要に応じて品質を向上させることが可能です。