Abstract
スコアベース拡散モデルの目覚ましい経験的成功にもかかわらず、その統計的保証はいまだ十分に発展していません。既存の解析ではしばしば、自然画像に見られるような実データに共通する固有の低次元構造を反映しない、悲観的な収束率が提示されます。本研究では、有限個のサンプルから未知の分布
mu を学習するためのスコアベース拡散モデルの統計的収束を調べます。前向き拡散過程およびデータ分布に関する緩やかな正則性条件の下で、学習された生成分布に対する有限標本誤差の上界を、Wasserstein-p 距離によって測定して導出します。先行結果と異なり、提案する保証はすべての p ge 1 に対して成り立ち、さらに
mu に対する有限モーメントの仮定のみを必要とし、コンパクト台、マンフォールド、滑らかな密度条件は不要です。具体的には、有限 q 次モーメントをもつ
mu から独立同分布に従う n 個のサンプルを取り、適切に選んだネットワークアーキテクチャ、ハイパーパラメータ、離散化スキームのもとで、学習分布
uhat と
mu の間の期待 Wasserstein-p 誤差が
\[\mathbb{E}\, \mathbb{W}_p(\hat{\mu},\mu) = \widetilde{O}\!\left(n^{-1 / d^\ast_{p,q}(\mu)}\right),\]\
のようにスケールすることを示します。ここで d^\ast_{p,q}(\mu) は
mu の (p,q)-Wasserstein 次元です。これらの結果は、拡散モデルがデータの固有の幾何に自然に適応し、収束率が周囲の次元ではなく d^\ast_{p,q}(\mu) に依存するため、多次元性の呪いを緩和することを示しています。さらに本理論は、拡散モデルの解析を GAN の解析および、最適輸送で確立された鋭いミニマックス収束率と、概念的に橋渡しするものです。提案する (p,q)-Wasserstein 次元は、古典的な Wasserstein 次元の概念を有界でない台をもつ分布へ拡張するものであり、独立した理論的関心を持つ可能性もあります。
