マスクド拡散モデルのためのシンプルな自己条件付き適応
arXiv cs.LG / 2026/5/1
📰 ニュースModels & Research
要点
- マスクド拡散モデルでは、依然としてマスクされたトークン位置をマスクトークンだけから繰り返し推定するため、ステップ間の洗練（クロスステップ・リファインメント）が活きにくい。
- 本論文は Self-Conditioned Masked Diffusion Models（SCMDM）として、各復元（denoising）ステップをモデル自身の前回の「クリーン状態」予測で条件付けする事後学習（post-training）の適応を提案する。
- SCMDMは最小限のアーキテクチャ変更で適用でき、補助となる参照モデルや再帰的な潜在状態経路を不要とし、サンプリング中に追加のデノイザー評価も増やさない。
- 複数ドメインでの評価により、バニラのマスクド拡散モデルより一貫して改善が見られ、OWT学習モデルでは生成パープレキシティが約50%低下（42.89→23.72）するほか、離散化画像合成、小分子生成、ゲノム分布モデリングでも品質向上が報告されている。
