拡散モデルは一般化するが、思い描く方法とは異なる

要旨: 標準的な評価指標は、U-Net または Transformer アーキテクチャに基づくデノイジング拡散モデルが実践上よく一般化することを示唆します。しかし、最適な拡散モデルが訓練データを完全に記憶することが示せるように、モデル誤差が一般化を決定します。ここでは、訓練時間の増加に伴い十分に大きなデノイザーモデルが訓練セットの記憶を増大させることを示しますが、得られるデノイジング軌道はこの傾向に従いません。我々の実験は、この観察の理由が、中間ノイズレベルで過学習が発生するという事実に根ざしているが、これらのノイズレベルでのノイズ付き訓練データの分布は推論時のデノイジング軌道とほとんど重なりがないことにあることを示しています。より深い洞察を得るために、2D の簡易拡散モデルを用いて、中間ノイズレベルでの過学習が主にモデル誤差とデータ支持の密度によって決定されることを示します。最適なデノイジング・フローフィールドは訓練サンプルの周りに鋭く局在しますが、十分なモデル誤差またはデータ多様体上の高密度のサポートは厳密なリコールを抑制し、滑らかで一般化するフローフィールドを生み出します。さらに、訓練時間、モデルサイズ、データセットサイズ、条件粒度、拡散ガイダンスなど、いくつかの要因が一般化挙動にどのように影響するかを調べて、結果を補強します。