一貫性を持つ拡散言語モデル（Consistent Diffusion Language Models）

arXiv cs.LG / 2026/5/4

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、自己回帰型言語モデルに代わる拡散ベースの手法として、より高速（多くの場合少ないステップ）で並列化しやすいテキスト生成を目指す「一貫性を持つ拡散言語モデル（CDLM）」を提案する。
離散拡散には確定的な確率フローODEの対応物が存在しないため、軌道の代わりに、一般的な破壊（corruption）過程に対して閉形式で得られる確率的な「事後ブリッジ（posterior bridge）」を用いるべきだと主張する。
中核となる手法であるMPDC（Multi-Path Discrete Consistency）は、これらの確率的ブリッジにまたがる期待値の下でデノイザが経路不変になるよう訓練し、単段かつ教師なしの学習枠組みとして実装する。
マスク付き拡散、連続一貫性モデル、進行的／離散蒸留を、それぞれが解析的極限、あるいは実装上の近似として同一の枠組みに統一できると示す。
実験では、CDLMが条件付き・無条件のテキスト生成の両方で新たな最先端性能を達成し、特に少ステップ領域での改善が最大となり、計算予算が限られる状況でも多段蒸留ベースラインにしばしば勝っている。

要約: 拡散言語モデル（DLMs）は、自己回帰モデルの魅力的な代替手段です。生成は従来のモデルよりもサブ線形時間で並列に行えることが期待されますが、実用上の改善はなお見えにくく、高品質なサンプルを得るには依然として数百回の洗練（refinement）ステップが必要です。連続領域では、確率フローODEに沿った整合性学習が、拡散を加速するための定番の手法として広く用いられています。離散拡散では、それに対応するサンプル空間上のODEが存在しないため、直接の適応は定義が曖昧になります。私たちは、自然な離散的代替は決定論的な軌跡ではなく、その確率的な対応物であると主張します。すなわち、マスクド拡散や一様（uniform）拡散を含む幅広い破損（corruption）族に対して閉形式で利用できる「厳密な事後ブリッジ（posterior bridge）」です。この観察に基づき、新しい原理であるMulti-Path Discrete Consistency（MPDC）を提案します。これは、これらの確率的ブリッジにまたがって期待値のもとでパス不変となるようにデノイザを学習するものです。そして、それを一段階・教師なしの学習枠組みとして、Consistent Diffusion Language Model（CDLM）に具体化します。単一のCDLM目的関数が、マスクド拡散、連続的整合性モデル、そして漸進的／離散蒸留を、ひとつの共通した見方の解析的極限あるいは実証的近似として統一します。実験的に、CDLMは条件付きおよび非条件付きのテキスト生成の両方で新たな最先端を確立し、強力なベースの離散拡散モデルを一貫して上回り、さらにサンプリング予算の範囲では多段階の蒸留ベースラインを上回ることも多く、特に少ステップ領域で最大の改善が得られます。これらの結果は、CDLMが次世代の高速で高忠実度な離散生成モデリングのための、原理的でスケーラブルな基盤として位置付けられることを示しています。