単一トークンを超えて：離散MMDによる離散拡散モデルの蒸留

Abstract

現在、離散拡散モデルを蒸留することは困難です。対照的に、連続拡散の文献には、サンプリングステップをいくつかに抑えることができる多くの蒸留アプローチがあります。私たちの手法、Discrete Moment Matching Distillation (D-MMD)、は連続領域で非常に成功してきたアイデアを活用します。従来の離散蒸留法が崩壊する一方で、D-MMDは十分なサンプリングステップが与えられれば高品質と多様性を維持します。これはテキストデータセットと画像データセットの両方で示されています。さらに、新たに蒸留された生成モデルは教師を上回る可能性があります。