一般領域上で定義された、ニューラルネットワーク関連カーネル関数のクラスに関する固有値減衰率

arXiv stat.ML / 2026/4/8

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、球面に限らず一般の領域上で定義された幅広いクラスのカーネル関数に対して固有値減衰率(EDR)を決定するための戦略を提示する。
  • ニューラル・タンジェント・カーネル(NTK)を含むカーネルを扱い、層数や活性化関数が異なる広いニューラルネットワークの場合へと、先行する理論結果を \(/S^d\) を超えて拡張する。
  • 著者らは、広いニューラルネットワークの学習ダイナミクスが、一般領域上におけるNTK回帰によって一様に近似できることを示す。
  • さらに、目標関数の仮定(NTKのRKHSに関連する補間空間に属する \(f\))のもとで、ミニマックス最適性を解析し、過学習したニューラルネットワークは一般化性能が良くない可能性があると論じる。
  • 本研究は、提案するEDRアプローチが、理論的なカーネル/学習解析においてより広い独立した関心を集めうることを示唆している。

Abstract

本論文では、 \mathbb S^{d} ではなく一般の領域上で定義された広いクラスのカーネル関数について、固有値減衰率(EDR)を決定するための戦略を提示する。このクラスのカーネル関数には、深さの異なるニューラルネットワークおよびさまざまな活性化関数に対応するニューラル・タンジェント・カーネル(NTK)が含まれるが、それに限定されない。広いニューラルネットワークの学習ダイナミクスが一般の領域におけるニューラル・タンジェント・カーネル回帰を一様に近似することを証明した後、真の関数 f\in [\mathcal H_{\mathrm{NTK}}]^{s}(NTK の RKHS \mathcal H_{\mathrm{NTK}} に関連する補間空間)を仮定すれば、広いニューラルネットワークがミニマックス最適であることをさらに示す。また、過学習したニューラルネットワークはうまく汎化できないことも示した。カーネルのEDRを決定するための本アプローチは、独立した関心対象にもなり得ると考えている。