離散拡散モデルの非漸近的収束：マスクおよびランダムウォーク動力学
arXiv stat.ML / 2026/4/2
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、連続状態空間における（ガウス的なノージングによる）拡散モデルに比べて理論的理解が遅れている、離散状態空間上の拡散モデルに関する理論上のギャップを扱う。離散特有の課題や組合せ的困難さにより、十分に理解されていない。
- 本論文は、3つの離散拡散モデルについて、有限個の状態をもつランダムウォークおよびマスキング動力学、ならびに \(\mathbb{N}^d\) 上の可算無限のドリフト付きランダムウォーク過程を含め、鋭い（sharp な）非漸近的収束保証を導出する。
- 理想的な離散スコア関数へのアクセスがあるとしても、著者らは厳密な逆方向シミュレーションが不可能であることを示し、その代わりに時間離散化したオイラー型近似を解析する。
- 収束の評価は、データ分布に対する最小限の仮定のもとで、クルバック・ライブラー発散と全変動距離の双方で上界付けされる。これにより、推定したスコアに関する有界性の要求を回避する。
- 著者らは、理論結果が高次元の離散設定に対して実用的に関連するよう、計算複雑性が次元に対して（対数因子までで）線形にスケールすると主張する。
