概要: 連続空間上の拡散ベースのモデルは、Jordan-Kinderlehrer-Otto(JKO)スキームを通じて、Wasserstein-2({W}_2)距離を活用する数学的枠組みである勾配流の理論により、近年大きな進展を遂げてきました。連続時間のマルコフ連鎖を用いた離散空間上の拡散モデルがますます人気を集めているにもかかわらず、これらの設定に{W}_2距離を直接変換する際の本質的な困難により、勾配流に基づく並行した理論枠組みは依然として捉えきれていません。本研究では、これらの課題に対処する最初の計算アプローチを提案します。確率分布の単体(シンプレックス)上の適切なメトリックW_Kを用いることで、離散熱方程式のように広く用いられている離散的な拡散経路を、特定の自由エネルギー汎関数の勾配流として解釈できるようにします。この理論的洞察を通じて、離散空間上の拡散ダイナミクスを学習する新しい手法を導入します。この手法は、JKOスキームに対する一階の最適性条件を活用することで、基となる汎関数を直接復元します。得られる手法は単純な二次損失を最適化し、訓練は非常に高速で、個々のサンプル軌道を必要とせず、W_K-測地線を計算する数値的な前処理のみを必要とします。合成データに対して大規模な数値実験を行い、さまざまなグラフクラスに対して基となる汎関数を復元できることを検証します。
自由エネルギーの勾配流によるグラフの離散拡散の学習
arXiv stat.ML / 2026/4/14
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、連続のワッサースタイン距離の移植が難しいグラフのような離散空間上の拡散モデルに対して、勾配流の枠組み(Wasserstein-2/JKO)を拡張することで理論的なギャップを埋めることを目的としている。
- 新たな確率単体上の指標 \(W_K\) に基づく計算手法を導入し、離散熱方程式などの一般的な離散拡散ダイナミクスが、特定の自由エネルギー汎関数の勾配流として解釈できることを示す。
- この解釈に基づき、著者らはJKOスキームから得られる一階の最適性条件を用いて、基となる拡散汎関数を直接復元する学習手法を提案する。
- 提案する学習目的関数は単純な二乗損失であり、非常に高速に学習できることが報告されている。また、個々のサンプル軌道を必要とせず、\(W_K\)-測地線の計算のための前処理に依存する。
- 複数のグラフクラスにわたる大規模な合成実験により、基となる汎関数を復元できることが示されており、離散拡散ダイナミクスの学習における実用的妥当性を裏づけている。
