ニューラル連続時間マルコフ連鎖：ジャンプ時間とジャンプ方向を分離した離散拡散

要旨: 連続時間マルコフ連鎖（CTMC）に基づく離散拡散モデルは、言語や離散データ生成において強い性能を示している一方で、既存の手法は典型的に逆レート行列を単一の対象としてパラメータ化しており、具体的には、コンセレートスコア、クリーンデータ予測（x_0-パラメータ化）、あるいはノイズ除去分布によって行うという形になっています。これに対し、ジャンプのタイミングとジャンプの方向への、CTMCの固有の分解に沿ってパラメータ化することは行われていません。CTMCは本質的に、これら2つの量によって完全に決定されるポアソン過程であるため、この構造に沿って分解することは第一原理により近く、自然に我々の定式化へとつながります。私たちは、2つの専用ネットワークヘッドを用いて、逆過程をそれぞれ
\emph{exit rate（いつジャンプするか）} と \emph{jump distribution（どこでジャンプするか）} の2つで別々にパラメータ化する \textbf{Neural CTMC} を提案します。我々は、エビデンス下限（ELBO）が、真の逆過程と学習された逆過程の間のパス空間KLダイバージェンスと、theta-独立な定数によって異なることを示します。したがって、学習目的は、我々がパラメータ化するexit rateとjump distributionによって完全に支配されます。さらに、このKLダイバージェンスは、タイミングのためのポアソンKLと、方向のためのカテゴリカルKLに因数分解できることを示します。また、理論的枠組みにおいて、扱いやすい条件付きサロゲートが、標準的な正則性の仮定のもとで、対応する周辺（marginal）逆過程目的関数の勾配と最小解を保存することも示します。さらに、我々の理論的枠組みは、マスク付きおよびGIDDスタイルのノイズスケジュールも包含します。実験的に、前方過程が一様である場合は既存研究で調べられてきましたが、我々の知る限り、本モデルはOpenWebTextデータセットにおいて、マスクベースの手法を上回る最初の純粋な一様（pure-uniform）手法です。再現性のために、事前学習済み重みを https://huggingface.co/Jiangxy1117/Neural-CTMC で公開します。