深層ニューラルネットワークにおける普遍性：リンドベルグ交換原理によるアプローチ

arXiv stat.ML / 2026/5/5

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、完全連結の深層ニューラルネットワークを無限幅極限で解析し、無限幅のガウス極限（ランダム）モデルとの比較を行います。
活性化関数に対する適切な正則性条件の下で、有限幅ネットワークとガウス極限の間の2-Wasserstein距離に関する定量的な上界を提示します。
主な技術的貢献は、深層ニューラルネットワーク向けに構築された「リンドベルグ交換原理」であり、各層の重みをガウス乱数に置き換えても制御可能であることを示します。
これらの結果は、幅が広がるにつれて深層ネットワークの分布がどのように、そしてどれくらいの速さでガウス的挙動に収束するかを形式化することを目指しています。

概要: 本稿では、一般的な重みを持つ完全結合型の深層ニューラルネットワークの無限幅極限を考察し、活性化関数に関する適切な正則性仮定のもとで、ネットワークとその無限幅ガウス極限の間の $2$ -ワッサースタイン距離に関する定量的な一般上界を証明する。主要な道具は深層ニューラルネットワークに対するリンドバーグ原理であり、これを用いて各層の重みを順にガウス乱数に置き換える。