高次元2層ReLUニューラルネットワークの損失ランドスケープにおける局所的最小の鋭い記述

\sum_{k=1}^K \mathrm{ReLU}(w_k^\top x)$ で表される2層ReLUネットワークの母集団損失ランドスケープを研究する。局所的最小解（local minima）は、要約統計量に基づく厳密な低次元表現を許し、それによりランドスケープの鋭く解釈可能な特徴付けが得られることを示す。さらに、ワンパスSGDとの直接的な結び付けを確立する。すなわち、局所的最小解は、要約統計量の空間におけるダイナミクスの引き込み（魅力的）固定点に対応する。本見方は、最小解の階層構造を明らかにする。すなわち、最小解は通常、十分に正しく（well-specified）設定された領域では典型的に孤立しているが、ネットワーク幅が増加すると平坦な方向によって連結される。過剰パラメータ化されたこの領域では、大域的最小解はますます到達しやすくなり、ダイナミクスを引き寄せ、偽の解への収束を減少させる。全体として、本研究の結果は、共通の簡略化仮定の本質的な限界を明らかにする。すなわち、それらは、最小限のニューラルネットワークモデルにおいてさえ損失ランドスケープの重要な特徴を見落とし得る。