拡散モデルにおけるニューラルネットワーク基盤のスコア推定：最適化と汎化

概要: 拡散モデルは生成AIにおける主要なパラダイムとなっており、中心的な構成要素として、ノイズ除去スコアマッチングによるスコア推定があります。近年の理論は強力な統計的保証を与えていますが、通常はアルゴリズムに依存しない仮定に基づいており、経験的リスク最小化を、ちょうど厳密に解けるものとして扱っています。しかし実際には、スコア関数は高度に非凸なニューラルネットワークによってパラメータ化され、勾配降下法（GD）で学習されるため、そのような実務的手続きが厳密な保証を受け入れるのかどうかは、依然として不明です。
我々は、この問いに対する最初の一歩として、GDで学習したニューラルネットワークによるスコア推定のための数学的枠組みを構築します。分析では最適化と汎化の両方に取り組みます。ノイズ除去スコアマッチングを、不確かなラベル（ノイズ付きラベル）を伴う回帰問題へと還元するパラメトリックな定式化を導入します。この設定では、入力が有界でないこと、ベクトル値の出力であること、さらに追加の時間変数があることなど、いくつかの課題が生じるため、既存手法を直接適用することができません。適切な設計により、GDで学習したネットワークのダイナミクスを一連の局所化されたカーネル回帰問題として近似できることを示します。また、ノイズ付きラベルで長く学習すると過学習が起こることを示し、有界でない領域に適応した早期終了（early-stopping）則を導出します。その結果、拡散モデルにおけるGDで学習したニューラルネットワークに対する、最初のミニマックス最適な汎化限界（generalization bounds）を確立します。さらに、Credit Defaultデータセットでの実験により、我々の理論に導かれた学習枠組みが、高忠実度な金融の表形式データを生成するための、強くチューニングされたヒューリスティック手法と同等の性能を達成することを示します。