Abstract
拡散モデルのトレーニング中に生成分布がどのように進化するかを理解するための解析的フレームワークを開発します。ガウス同値性の原理を活用し、線形および畳み込み型デノイザのフルバッチ勾配フロー動力学を完全に解き、そこから得られる確率フローODE（常微分方程式）を統合することで、生成分布に対する解析的な表式を導きます。この理論は普遍的な逆分散スペクトル則を明らかにします。すなわち、ある固有モードまたはフーリエ・モードが目標の分散に一致するまでの時間は auecauselambda^{-1} に比例し、高分散（粗い）構造は、低分散（細かな）ディテールより桁違いに早く習得されます。この解析を深い線形ネットワークおよび巡回（circulant）なフル幅畳み込みへ拡張すると、重み共有は単に学習率を掛け算するだけであり（学習を加速するが）バイアスは除去しないことが示されます。一方、局所的な畳み込みは質的に異なるバイアスを導入します。ガウスおよび自然画像データセットに対する実験により、このスペクトル則が深いMLPベースのUNetにおいても持続することが確認されます。しかし、畳み込み型U-Netsでは多数のモードがほぼ同時に立ち現れるという速い挙動が見られ、学習ダイナミクスの再形成に局所的畳み込みが関与していることが示唆されます。これらの結果は、データの共分散が拡散モデルが学習する順序と速度をどのように決めるかを強調しており、局所的畳み込みによって導入される固有の帰納的バイアスについて、より深い検討が必要であることを提起します。
