過パラメータ化された浅いニューラルネットワークに対する、初期化依存かつ非自明な一般化境界へ

arXiv cs.LG / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、過パラメータ化された浅いニューラルネットワークにおける「良性のオーバーフィッティング」を、パラメータ数だけではなく初期化からの距離と一般化を結び付けることで扱う。
先行研究の初期化依存解析が有効でなかった理由として、初期化行列のスペクトルノルムに境界が依存しており、その値が幅の増加とともに大きくなり得る点を指摘する。
著者らは、一般のリプシッツ活性化をもつ浅いネットワークに対して、最初の「完全に初期化依存」な計算量（複雑度）境界を導出し、幅への依存を対数的なものにとどめることに成功する。
提案される境界は、初期化からの距離のパスノルムに基づいており、関連する技術的制約を扱うために新しい「peeling（層ごと分解）」手法を用いる。
本研究は、定数因子まで一致する（タイトな）下界も提示し、経験的な比較により、その結果得られる一般化境界が過パラメータ化された設定でも非自明であることを示す。