ノイズ除去拡散における計算上のボトルネック

arXiv stat.ML / 2026/4/9

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、ノイズ除去拡散(denoising diffusion)手法が、直接サンプリングが可能な任意の目標分布 \(\mu\) を効率的にサンプリングできるかどうかを検討する。
  • サンプリングは容易だが、その対応する拡散ドリフトが非可算(intractable)になる分布を解析することで、常にそうではないことを示す証拠を提示する。
  • 統計推定における情報と計算のギャップに関する仮説のもとで、著者らは、正確なサンプリングに必要な拡散ドリフトが計算的に過大(computationally prohibitive)になり得ると論じる。
  • さらに、計算時間多項式のドリフトの中では最適に超多項式的に近いドリフトが存在しても、それによって生成されるサンプルの分布は目標分布からなお大きく乖離しうることを示す。
  • 全体として、本研究は、ドリフトの学習/利用の複雑さに結びついた拡散ベースのサンプリングの計算上のボトルネックと限界を浮き彫りにする。

概要: デノイジング拡散は、確率分布 \mu\mathbb{R}^d 上でサンプリングするために、\mathbb{R}^d 上の確率過程 ({\hat{\boldsymbol x}}_t:t\ge 0) を構成することで行う。ここで \hat{\boldsymbol x}}_0 はサンプリングが容易であるが、大きな T における \hat{\boldsymbol x}_T の分布が \mu を近似する。
この拡散過程のドリフト {\boldsymbol m}:\mathbb{R}^d\times\mathbb{R}\to\mathbb{R}^d は、スコアマッチングの目的関数を最小化することで学習される。

サンプリングが扱いやすい任意の確率分布 \mu は、拡散によるサンプリングにも適しているのだろうか? 我々は、情報—計算ギャップに関する統計的推定の分野でよく知られた予想の下で、サンプリングは容易だが、拡散過程のドリフトは扱いにくい確率分布 \mu を調べることで、その反対の証拠を提示する。我々は、(多項式時間のドリフトの中で)最適値に超多項式的に近いドリフトが存在し、それにもかかわらず生成されるサンプルの分布が、目標分布から非常に遠いことを示す。