Langevinダイナミクスのスコア関数誤差に対する頑健性
arXiv cs.LG / 2026/3/13
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、推定されたスコア関数の誤差がスコアベース生成モデリングに与える影響を分析し、LangevinダイナミクスがL^2（より一般にはL^p）誤差に対してロバストではないことを示しています。
- これを、拡散モデルは小さなL^2スコア誤差の下で、比較的穏やかな正則性仮定のもと多項式時間の範囲内で目標分布から忠実にサンプルできる、という対比とともに示します。
- 著者らは、単純な高次元分布に対しても、任意の多項式時間範囲でLangevinダイナミクスを走らせると、推定されたスコア関数のL^2誤差が任意に小さくても、全変動距離で目標分布から遠い分布を生成することを証明します。
- 実務的には、データからスコアを学習する場合には拡散モデルの方をLangevinダイナミクスより推奨すべきであると動機づけ、推定スコアを用いたLangevinダイナミクスの使用には警鐘を鳴らします。
要旨: 私たちは、スコア関数の推定値の誤差に対するスコアベース生成モデリングの頑健性を検討します。特に、Langevinダイナミクスがスコア関数の推定値に対するL^2誤差（より一般にはL^p誤差）に対してロバストではないことを示します。スコア関数の推定値に対する小さなL^2誤差がある場合、拡散モデルは比較的穏やかな正則性仮定の下で多項式時間の枠内で目標分布から忠実にサンプルを得られることは確立されています。対照的に、本研究は、高次元の単純な分布であっても、任意の多項式時間範囲でLangevinダイナミクスを走らせると、推定されたスコア関数のL^2誤差（より一般にはL^p誤差）が任意に小さくても、全変動距離（TV距離）で目標分布から遠い分布を生じることを示します。データからスコア関数を学習する際には、このような推定誤差を避けられません。本研究の結果は、拡散モデルを支持するさらなる正当性を提供し、推定スコアを用いたLangevinダイナミクスの使用には慎重であるべきであることを示唆しています。
