過パラメータ化された二次ネットワークにおける一回通しSGDのエスケープダイナミクスと暗黙のバイアス
arXiv stat.ML / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、二次活性化を用いた教師―学生型の2層ニューラルネットワークにおける一回通し確率的勾配降下法(SGD)を解析し、高次元極限での重なり(オーバーラップ)ダイナミクスを追跡する低次元のODEを導出する。
arXiv stat.ML / 2026/4/6