拡散モデルと対数凹分布に対する高精度サンプリング

arXiv stat.ML / 2026/4/28

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、L^2上での十分な精度のスコア推定(概ねÕ(δ)精度が必要)を利用できる場合に、δ精度をpolylog(1/δ)ステップで達成する拡散モデルのサンプリング手法を提案しています。
  • 著者らは、これが従来の拡散サンプリング結果に対して指数的な改善だと主張しており、最小限のデータ仮定の下ではデータの固有次元d_*に依存する計算量が得られるとしています。
  • さらに、非一様なL-Lipschitz条件が成り立つ場合には、計算量が固有次元ではなくLに比例する形へと改善されます。
  • このアプローチは拡散モデルにとどまらず、勾配評価のみで一般の対数凹(log-concave)分布に対してもpolylog(1/δ)の計算量を持つサンプラーを初めて与える、とされています。
  • 全体として、本研究はサンプリング速度をスコア推定の精度や、固有次元・Lipschitz性といった構造的性質に結びつけることで、生成モデリングの理論的な効率保証を前進させます。

Abstract

We present algorithms for diffusion model sampling which obtain \delta-error in \mathrm{polylog}(1/\delta) steps, given access to \widetilde O(\delta)-accurate score estimates in L^2. This is an exponential improvement over all previous results. Specifically, under minimal data assumptions, the complexity is \widetilde O(d_\star \mathrm{polylog}(1/\delta)) where d_\star is the intrinsic dimension of the data. Further, under a non-uniform L-Lipschitz condition, the complexity reduces to \widetilde O(L \mathrm{polylog}(1/\delta)). Our approach also yields the first \mathrm{polylog}(1/\delta) complexity sampler for general log-concave distributions using only gradient evaluations.