独立拡散から相関拡散へ：確率計算機による一般化生成モデリング

Abstract

拡散モデルは、深層学習における生成タスクのための強力な枠組みとして登場してきました。拡散モデルは、生成モデリングを2つの計算プリミティブ、すなわち決定論的なニューラルネットワーク評価と確率的なサンプリングに分解します。現在の実装では通常、計算の大部分をニューラルネットワーク側に置いていますが、枠組みとしての拡散は、確率的遷移カーネルに関してより幅広い選択肢を可能にします。ここでは、独立なノイズ注入を置き換えることで、既知の相互作用構造を取り込むマルコフ連鎖モンテカルロ（MCMC）ダイナミクスによって、確率的サンプリング成分を一般化します。カップリングをゼロに設定した場合に、標準的な独立拡散が特別な場合として回復されます。イズィング（Ising）のカップリングを拡散ダイナミクスに明示的に組み込むことで、ノージング（noising）とデノージング（denoising）の各プロセスは、対象システムを代表する空間相関を活用します。その結果得られる枠組みは、確率ビット（p-bit）から構成される確率コンピュータ（p-computers）に自然に対応付けられます。これらは、GPUと比べてサンプリングスループットおよびエネルギー効率の面で桁違いの優位性を提供します。本アプローチを、2次元強磁性イズィング模型および3次元エドワーズ＝アンダーソン（Edwards-Anderson）スピンガラスの平衡状態に適用し、相関をもつ拡散が独立拡散よりも、MCMCの参照分布により近いサンプルを生成することを示します。より広く言えば、この枠組みにより、生成モデリングにおいて構造化された確率的サンプリングを活用する、新しいクラスの拡散アルゴリズムをp-computersが実現し得ることが示されています。