過パラメータ化された二次ネットワークにおける一回通しSGDのエスケープダイナミクスと暗黙のバイアス

arXiv stat.ML / 2026/4/6

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、二次活性化を用いた教師―学生型の2層ニューラルネットワークにおける一回通し確率的勾配降下法(SGD)を解析し、高次元極限での重なり(オーバーラップ)ダイナミクスを追跡する低次元のODEを導出する。