生成ディフュージョンにおける情報ダイナミクス
arXiv stat.ML / 2026/3/27
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、情報理論的・力学的・熱力学的という3つの観点を単一の説明に統合し、生成がどのように進行するかを説明することで、生成ディフュージョンモデルのための統合的フレームワークを提案する。
- 生成中の条件付きエントロピー生成率（「生成バンド幅」）が、スコア関数のベクトル場の期待される発散によって決まることを示す。
- 本研究は、この発散を軌道の分岐や「生成的分岐（generative bifurcations）」に結び付け、それらをモデルのエネルギー地形における対称性の破れを伴う相転移として解釈する。
- アンサンブル平均を超えて、対称性の破れの結果は、経路ごとの条件付きエントロピーの分散に現れるピークによって特定できることを示す。これは、不確実性を解消する際の軌道レベルでの異質性を反映している。
- 全体として、著者らは生成ディフュージョンを、制御されたノイズ誘起の対称性の破れとして特徴づける。そこではスコア関数が動的な非線形フィルタのように振る舞い、情報の流量と、ノイズからデータへ至る過程における変動性の両方を調整する。
