SteeringDiffusion：拡散モデルのボトルネック化された活性制御インターフェース

arXiv cs.CV / 2026/5/5

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

SteeringDiffusionは、拡散モデル向けにボトルネック化された活性レベルの制御インターフェースを提案し、コンテンツとスタイルのトレードオフを滑らかかつ単調に、さらに実行時に調整できる1つのノブを提供します。
U-Netのバックボーンを凍結し、プロンプト条件付きの小さな潜在コードを学習してFiLM/AdaGN形式のモジュレーションパラメータへ投影することで実現し、ゼロ初期化により制御スケールが0のときに基底モデルと完全に一致することを保証します。
タイムステップに応じたゲーティングにより、モジュレーションの適用範囲を後半のノイズ除去段階に制限して、より安定した挙動を狙います。
推論時には1つのスカラーで学習した制御面を連続的にたどれ、再学習なしに制御できます；Stable Diffusion 1.5とSDXLでの実験では、同等のパラメータ予算の条件下でLoRAよりも制御性と安定性が高いことを示しています。
さらに、DDIMインバージョンに基づく反転安定性の診断法を導入し、介入の大きさと反転安定性の間に強い相関があることを、事後的な軌跡プローブとして明らかにします。

\emph{Steering Bottlenecked Explicit Control (S-BEC)}を、凍結した拡散バックボーンに対する実用的で汎用的な制御インターフェースとして位置づける。