題目:Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective

要旨:漂流（Drifting）による生成モデリングは、カーネルに基づく漂流演算子を用いることで、最近、1ステップ画像生成における最先端の成果を達成した。しかしその成功は大部分が経験的であり、その理論的基盤は十分に理解されていない。本論文では、次の観察を行う。すなわち、 \emph{ガウス・カーネルの下では、漂流演算子は平滑化された分布に対するスコア差（score difference）そのものに一致する}。 この洞察により、元の研究で未解決として残されていた主要な問いの3つすべてに答えることができる。（1）漂流が消失したときに分布の等価性が保証されるかどうか（$V_{p,q}=0\Rightarrow p=q$）、（2）カーネルをどのように選ぶべきか、（3）なぜストップグラディエント演算子が安定な学習に不可欠なのか、である。これらの観察は、漂流をよく研究されたスコアマッチングの枠組みの中に位置付け、豊かな理論的見通しを可能にする。 McKean-Vlasovダイナミクスを線形化し、それらをフーリエ空間で調べることで、プラズマの運動論における\emph{ランダウ減衰（Landau damping）}に匹敵する周波数依存の収束時定数を明らかにする。すなわち、ガウス・カーネルでは指数関数的な高周波のボトルネックが生じるため、ラプラシアン・カーネルが経験的に好まれることを説明できる。さらに、収束時間を$ \exp(O(K_{\max}^2))$ から$O(\log K_{\max})$へと短縮する、指数的帯域アニーリングのスケジュール$ \sigma(t)=\sigma_0 e^{-rt}$ も提案する。最後に、漂流を平滑化されたKLダイバージェンスのワッサースタイン勾配流として形式化することで、ストップグラディエント演算子が、JKOスキームによって要請される凍結場（frozen-field）離散化から直接導かれることを証明し、それを取り除くと、学習が任意の勾配流保証から切り離されてしまうことを示す。この変分的観点は、シンクホーン・ダイバージェンスを用いた漂流で実演されるように、新しい漂流演算子を構成するための一般的なテンプレートも提供する。

ブックマーク

書誌および引用ツール

この記事に関連するコード、データ、メディア

デモ

レコメンダーと検索ツール