ランダムニューラルネットワークの汎関数の揺らぎにおける相転移

arXiv stat.ML / 2026/4/22

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、d次元球面上の無限幅ランダムニューラルネットワークのガウス出力から得られる汎関数に対して、中心極限定理と非中心極限定理を示します。
ネットワークの深さが増加するにつれて、これらの汫関数の漸近挙動は共分散関数の固定点に決定的に依存することを明らかにします。
漸近的に3つの異なるレジームが特定され、(1)極限ガウス場の同一汎関数への収束、(2)ガウス分布への収束、(3)第Qウィーナカオス上の分布への収束が示されます。
著者らは、エルミート展開、図式フォーミュラ、Stein–Malliavin技法といった既存の手法に加え、共分散に対応する反復オペレータの固定点構造と安定性に基づく新しい発想を用います。
本研究はarXivのv1プレプリントとして、製品やシステムの発表ではなく、ランダムニューラルネットワークにおける揺らぎの理論的理解を深める内容です。

Abstract

無限に幅のあるランダムニューラルネットワークの、d次元球面上におけるガウス出力の関数列に対して、中心極限定理および非中心極限定理を確立する。我々は、ネットワークの深さが増大したときのこれらの関数の漸近的挙動が、共分散関数の固定点に本質的に依存することを示す。その結果、3つの異なる極限レジームが生じる：極限ガウス場の同一の関数への収束、ガウス分布への収束、そしてQ次のウィーナーカオスに属する分布への収束である。我々の証明は、現在では古典となった道具（エルミート展開、ダイアグラム公式、ステイン＝マリヤヴィンの手法）を活用しているが、同種の文脈ではこれまで用いられたことのないアイデアも含む。とりわけ、漸近的挙動は、共分散に関連する反復作用素の固定点構造によって決定され、その性質と安定性が異なる極限レジームを支配する。