制御可能なリサンプリングによる離散拡散モデルの補間

Abstract

離散拡散モデルは、テキストやグラフなど多様な領域にわたって、強力な生成モデルの一群を形成している。しかし、既存の手法には根本的な制約がある。マスク付き拡散モデルは、早期のアンマスクによる不可逆的な誤りに悩まされる。一方で一様拡散モデルは自己修正を可能にするものの、中間潜在状態への強い依存によって、生成サンプルの品質が低くなりがちである。私たちは、中間潜在状態への依存を低減することで拡散を改善する、IDDM（Interpolating Discrete Diffusion Model）を提案する。IDDMの中核には、確率質量を周辺分布に部分的にリセットする制御可能な再サンプリング機構があり、誤りの蓄積を緩和し、より効果的なトークン修正を可能にする。IDDMは、現在の状態にとどまること、事前分布から再サンプリングすること、そして目標状態へ反転することの間で遷移が補間される生成過程を定義し、周辺整合性（marginal consistency）を強制しつつ、学習から推論を完全に切り離す。私たちは、分子グラフ生成およびテキスト生成のタスクにおいて、最先端の離散拡散モデルと比較してベンチマークを行い、競争力のある性能を示す。