Delta-K: クロスアテンション拡張によるマルチインスタンス生成の向上

要旨: 拡散モデルはテキストから画像への合成に優れている一方で、複雑なマルチインスタンスのシーンを合成する際には概念の欠落が生じがちです。既存の訓練不要手法は、注意機構を再スケーリングすることでこれを解決しようとしますが、それは意味的な一貫した表現を確立することなく、むしろ非構造的なノイズを悪化させるだけです。これに対処するため、Delta-K はバックボーンに依存せず、プラグアンドプレイの推論フレームワークとして欠落を扱う提案です。具体的には、視覚言語モデルを用いて、欠落概念の意味的特徴を符号化する差分キー ΔK を抽出します。この信号は拡散過程の初期の意味的計画段階で注入されます。動的に最適化されたスケジューリング機構に支えられ、Delta-K は拡散ノイズを安定した構造的アンカーへと結びつけつつ、既存の概念を保持します。広範な実験は、我々のアプローチの一般性を示しています。Delta-K は現代の DiT モデルと古典的な U-Net アーキテクチャの双方で、空間マスク、追加の訓練、またはアーキテクチャの変更を必要とせず、構成的整合性を一貫して改善します。