要旨: 近年、ニューラル接線カーネル（NTK）およびニューラルネットワークガウス過程カーネル（NNGP）は、完全結合型ニューラルネットワークに対する理論的に扱いやすい極限の状況を与えてきました。しかし、これらのカーネルの性質は、ReLU の冪乗以外の活性化関数については十分に理解されていません。私たちの主な貢献は、非滑らかさがゼロにおいてのみ現れる活性化関数に対する、これらのカーネルの RKHS（再生核ヒルベルト空間）を特徴づけることです。これは、SELU、ELU、LeakyReLU のような多数の一般的に用いられる活性化関数について、既存の理論を拡張するものです。さらに、バイアスの欠落、2層ネットワーク、あるいは多項式活性化といった、幅広い特殊ケースを解析します。得られた結果は、無限に滑らかでない活性化の広いクラスが、非滑らかさの次数に関する同値性のみを通じて異なるネットワーク深さにおいて同等の RKHS を生成することを示しています。一方、多項式活性化によって生成される RKHS は、ネットワーク深さに依存します。最後に、NNGP のサンプルパスの滑らかさについての結果を導出し、初期化時における無限幅ニューラルネットワークの滑らかさを特徴づけます。
ReLUを超えて：活性化関数がニューラルカーネルとランダム幅ネットワークに与える影響
arXiv stat.ML / 2026/4/28
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ReLU以外の活性化関数がニューラル接線カーネル（NTK）およびニューラルネットワーク・ガウス過程カーネル（NNGP）にどう影響するかを扱い、非滑らかさが0でのみ生じる活性化関数に焦点を当てています。
- 著者らはこれらのカーネルに対応するRKHS（再生核ヒルベルト空間）を特徴付け、SELU、ELU、LeakyReLUなどの活性化関数へ既存理論を拡張しています。
- 欠落バイアスのある構成、2層ネットワーク、そして多項式活性化といった変種・特殊ケースも分析しています。
- 結果として、多くの「無限回微分可能ではない」活性化関数は、非滑らかさの度合いに主に依存する形で、ネットワークの深さが異なっても同等のRKHSを生成することが示されます。一方で、多項式活性化ではRKHSが深さに依存します。
- さらに、NNGPのサンプルパスの滑らかさに関する結果を導出し、初期化時の無限幅ニューラルネットワークの滑らかさを特徴付けています。
