高次元・単層ネットワークにおける確率的勾配降下法の限界定理
arXiv stat.ML / 2026/5/1
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、オンラインSGD（確率的勾配降下法）の高次元スケーリング限界を解析し、学習ダイナミクスがステップサイズによってどのように支配されるかを扱っています。
- 単層ネットワークに対して、臨界的なステップサイズのスケーリング領域を特定し、挙動が決定論的（バリスティック）から新たな相へと移行することを示します。
- 臨界スケールでは追加の補正項が現れ、決定論的な限界だけでは得られない形で相図が変化することが明らかにされています。
- 固定点の近傍では、条件が成り立つ場合に拡散的（SDE）な有効ダイナミクスがオーンシュタイン＝ウーレンベック過程に簡約されることを示します。
- 「information exponent（情報指数）」がサンプル複雑度と結びつくことを示し、高次元の学習ダイナミクスにおける確率的揺らぎは決定論的スケーリング限界だけでは捉えきれない、という限界も強調しています。
