拡散モデルにおけるスコア平滑化の補間効果について

Abstract

拡散モデルは、学習データセットに存在しない新しいデータを生成できるという興味深い能力によって、さまざまな分野で目覚ましい進歩を遂げてきました。本研究では、そのような創造性が、ニューラルネットワークのバックボーンが経験的スコア関数の平滑化された版を学習し、それによって脱ノイズ（denoising）のダイナミクスが学習データを内挿するデータ点を生成するように導かれることから生じる、という仮説を検討します。主に、学習データセットが1次元部分空間上に一様に位置する設定に焦点を当て、スコアの平滑化と脱ノイズのダイナミクスの相互作用を、解析的解と数値実験により明らかにし、スコア関数を平滑化することで、脱ノイズされたデータサンプルがその部分空間に沿って学習データセットを内挿し得ることを示します。さらに、データが単純な非線形マニフォールドに属する場合を含め、ニューラルネットワークによってスコア関数を学習することが、（明示的な正則化の有無にかかわらず）同様の効果を自然に達成できることについて、理論的および実証的な根拠を提示します。