マルチレベル・オイラー＝マルヤマ法による拡散モデルの多項式加速

概要: 本稿では、多段階オイラー・マルヤマ（ML-EM）法を導入し、拡散方程式（SDE）および常微分方程式（ODE）の解を、ドリフト f に対する一連の近似器 f^1,
o
dots,f^k を用いて計算する方法を示す。精度および計算コストが増大する一連の近似器によって、最も正確な f^k の評価を少数回だけ行い、より安価な f^1,
o
dots,f^{k-1} を多数回評価するだけでよい。ドリフトがいわゆる Harder than Monte Carlo（HTMC）レジーム、すなわち、ある

\gamma>2 に対して、

\epsilon 近似のために

\epsilon^{-\gamma} の計算量が必要な場合、ML-EM は SDE の解を

\epsilon^{-\gamma} の計算量で

\epsilon 近似し、従来の EM の率である

\epsilon^{-\gamma-1} を改善する。言い換えると、ドリフトの1回の評価と同じ計算コストで SDE を解くことが可能になる。拡散モデルの文脈では、多段階レベル f^{1},\dots,f^{k} はサイズが増大する UNet を学習することで得られ、ML-EM により最大の UNet を1回評価したのと同等のコストでサンプリングを行える。数値実験により理論を裏づける結果を得た。CelebA データセットを 64x64 にダウンサンプルした画像生成において最大4倍の高速化を達成し、

\gamma\approx2.5$ を測定した。これは多項式的な高速化であるため、より桁違いに大規模なネットワークを扱う実運用上の応用では、さらに強力な高速化が期待できる。