スナップショットからの一般化離散拡散（GDDS）
arXiv stat.ML / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、巨大な離散状態空間に対して任意のノイズ付与／破壊（corruption）プロセスを扱える、離散拡散の統一的枠組みであるGeneralized Discrete Diffusion from Snapshots（GDDS）を提案する。
- GDDSは、既存の離散拡散手法を一般化しつつ、前向きの破壊ダイナミクスを選ぶ際の柔軟性を大幅に高め、一様化（uniformization）によって高速に任意の破壊を実現できる。
- 学習では、全てのノイズ付与（noising）経路ではなくスナップショットの潜在表現（latents）を用いるELBOを導出し、明確な確率的解釈のもとで標準的な生成モデリング・アーキテクチャを効率よく学習することを目指す。
- 大規模ボキャブラリの離散生成タスクに関する実験では、先行する離散拡散手法に比べて学習効率と生成品質が向上したと報告されており、このスケールにおいて初めて自己回帰モデルを上回ると主張している。
- 著者らは、導入やさらなる実験を支えるために、プロジェクトページでコードとブログ記事を提供している。
