ニューラルネットワークの一般化を記述する補間公式について

要約：2020年に Domingos は「勾配降下法で学習されたすべてのモデル」に有効な補間公式を導入した。彼は、そのようなモデルは近似的にカーネル機械として振る舞うと結論づけた。本研究では、Domingos の式を確率的な訓練へ拡張する。連続時間拡散近似を用いて決定論的版を拡張する確率的勾配カーネルを導入します。確率的 Domingos の定理を証明し、期待ネットワーク出力が最適化アルゴリズム固有の重み付けを持つカーネル機械表現を許すことを示します。訓練サンプルは、損失依存の重み付けと訓練軌道に沿った勾配の整合性を通じて寄与することを明らかにします。続いて、一般化誤差を、確率的勾配カーネルによって誘導される積分演算子の零空間と結びつけます。同じパス-カーネルの視点は、拡散モデルと GAN の統一的な解釈を提供します：拡散は段階的でノイズを局所化した補正を誘発するのに対し、GAN は識別器の幾何学によって形作られた分布指向の補正を誘発します。最適化中の暗黙のカーネルの進化を可視化し、一連の数値実験を通じて分布外挙動を定量化します。我々の結果は、学習の特徴空間メモリという見方を支持します：訓練はデータ依存の情報を進化する接線特徴幾何に蓄え、テスト時の予測はこれらに蓄積された特徴のカーネル重み付け検索と集約から生じ、一般化はテスト点と学習された特徴メモリとの整列によって支配されます。