Diffusion LM入門（解説編）：逐次生成を脱却し、全体を「同時推敲」するLLM
Zenn / 2026/4/15
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 拡散モデル由来の考え方を言語生成に取り込み、逐次（autoregressive）な単語生成を避けて、入力全体を一括で「同時推敲」するDiffusion LMの発想を解説する。
- 生成プロセスをノイズ除去（リファイン）として定式化し、初期の下書きから全体的に整合したテキストへ反復的に改善する流れを示す。
- 逐次生成との違いとして、並列化の余地や推敲（refinement）による品質・制約遵守の観点を重視し、なぜ全体同時に作り直す設計が有効になり得るかを説明する。
- LLM設計・学習/推論の観点から、拡散的アプローチを言語領域へ適用する際の要点（モデル化、反復、デコーディングの考え方）を入門レベルで整理している。
こんにちは、ソフトバンクでデータサイエンティストをしている山家です。
GPTに代表されるAutoregressive LM（自己回帰言語モデル）は、文頭から文末に向かって1トークンずつ生成する方式が基本です。ビームサーチなどを用いた探索は可能ですが、生成が進むにつれて過去の選択に縛られるため、文章全体のバランスを俯瞰して細部を書き直すといった柔軟な制御には適していません。
そこで、「不確かな状態の文章全体」を段階的に確定させていくDiffusion LM（拡散言語モデル）が、推敲に近い振る舞いを実現しやすい新たな選択肢として注目されています。
本記事では、Diffusion LMのアーキ...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
