熱力学拡散トレーニングのための対称均衡伝播(Symmetric Equilibrium Propagation)

arXiv cs.LG / 2026/4/28

📰 ニュースDeveloper Stack & InfrastructureModels & Research

要点

  • 本論文は、スコアベース拡散モデルの逆過程が、時間依存のエネルギー地形上でのオーバーダンプ・ラングジュバン動力学と形式的に等価であることを示し、拡散サンプリングと熱力学的な物理ダイナミクスを結び付けます。
  • 先行研究で示された双線形結合のアナログ基板に基づき、外部のデジタル加速器へ勾配を渡さずに、同じ基板上でトレーニング・ループを閉じられることを肯定的に解決します。
  • 双線形エネルギーに EqProp(Equilibrium Propagation)を適用すると、ゼロ・ナッジ極限でスコアマッチング勾配の推定が不偏になり、有限ナッジでは基板の剛性・局所曲率・損失勾配信号ノルムのみで制御される鋭いバイアス上界を導出します。
  • 対称ナッジを提案し、主なバイアスを O(β) から O(β^2) に改善し、追加コストをほぼ抑えつつ、有限の緩和計算予算下で反相関勾配を避けて更新を整合させる上で重要だと主張します。
  • 物理単位でのエンドツーエンド換算から、対応するGPUベースラインに対して学習1ステップあたり 10^3〜10^4倍のエネルギー優位が見込めるとされ、低ランク結合を保持したままスケーラブルな熱力学拡散モデルを実現する「局所・読み出しのみ」の初めての学習則として位置付けます。

Abstract

The reverse process in score-based diffusion models is formally equivalent to overdamped Langevin dynamics in a time-dependent energy landscape. In our prior work we showed that a bilinearly-coupled analog substrate can physically realize this dynamics at a projected three-to-four orders of magnitude energy advantage over digital inference by replacing dense skip connections with low-rank inter-module couplings. Whether the \emph{training} loop can be closed on the same substrate -- without routing gradients through an external digital accelerator -- has remained open. We resolve this affirmatively: Equilibrium Propagation applied directly to the bilinear energy yields an unbiased estimator of the denoising score-matching gradient in the zero-nudge limit. For finite nudging we derive a sharp bias bound controlled solely by substrate stiffness, local curvature, and the norm of the loss-gradient signal, with a bilinear-specific corollary showing that one dominant bias term vanishes identically for coupling-parameter updates. Symmetric nudging further upgrades the leading bias from \mathcal{O}(\beta) to \mathcal{O}(\beta^2) at negligible extra cost. Under realistic finite-relaxation budgets this upgrade is essential, as one-sided EqProp produces anti-correlated gradients while symmetric EqProp yields well-aligned updates. Bias-variance analysis determines the optimal operating point, and end-to-end physical-unit accounting projects a 10^3-10^4\times energy advantage per training step over a matched GPU baseline. Symmetric bilinear EqProp is the first local, readout-only training rule that preserves the low-rank coupling enabling scalable thermodynamic diffusion models.