Abstract
拡散モデルは、学習されたスコアが emph{粗い} -- という場合でも、しばしば新規なサンプルを生成します。この現象は、拡散学習を密度推定として捉える標準的な見方では説明されていません。本論文では、emph{マンフォールド仮説} のもとで、このふるまいが、母集団測度 mu_{\scriptscriptstyle\mathrm{data}} の分布的な細かい構造を捨て去りつつ、粗いスコアがデータの emph{幾何} を捉えることによって説明できることを示します。具体的には、k次元の多様体上で支持されるデータ分布 mu_{\scriptscriptstyle\mathrm{data}} 全体を推定するには、古典的なミニマックス率 tilde{\mathcal{O}}(N^{-1/k}) が必要であることが知られていますが、粗いスコアで学習された拡散モデルは、多様体支持の emph{正則性} を活用し、emph{異なる} 目標分布に向けた準パラメトリック率を達成できることを証明します。この目標分布は、多様体の任意の tilde{\mathcal{O}}\bigl(N^{-\beta/(4k)}\bigr)-近傍の至る所で、mu_{\scriptscriptstyle\mathrm{data}} の密度と一様に同程度の密度を持ちます。ここで beta は多様体の正則性を表します。したがって、保証は基盤となる支持の滑らかさのみに依存しており、例えば非微分可能であるなど、データ密度自体が不規則な場合に特に有利です。特に、多様体が十分に滑らかであれば、emph{一般化} -- 新規で高忠実度なサンプルを生成できる能力として形式化される -- が、母集団分布 mu_{\scriptscriptstyle\mathrm{data}} 全体を推定するのに必要な統計的速度よりも厳密に速い統計率で生じることがわかります。
