深層線形ネットワークのサドル間（saddle-to-saddle）レジームにおける確率的勾配降下法

Abstract

深層線形ネットワーク（DLN）は、深層ニューラルネットワークの学習ダイナミクスを解析的に扱えるモデルとして用いられます。DLNにおける勾配降下法は鞍点から鞍点へのダイナミクスを示すことが知られていますが、この領域に対する確率的勾配降下法（SGD）ノイズの影響は、いまだ十分に理解されていません。本研究では、鞍点から鞍点への領域でDLNを学習する際のSGDのダイナミクスを調べます。学習ダイナミクスを、異方的で状態依存のノイズを伴う確率的ランジュバン・ダイナミクスとしてモデル化します。重みが整列（aligned）し、かつ釣り合って（balanced）いるという仮定のもとで、ダイナミクスを1次元のモードごとの確率微分方程式系へと分解する厳密な導出を行います。これにより、あるモードにおける最大拡散が、その対応する特徴が完全に学習される前に先行することが示されます。さらに、各モードにおけるSGDの定常分布も導出します。ラベルノイズがない場合、その特定の特徴に沿った周辺分布は勾配流（gradient flow）の定常分布と一致し、ラベルノイズがある場合にはそれがボルツマン分布を近似することが分かります。最後に、理論結果が、重みが整列していなくても、また釣り合っていなくても、定性的に成り立つことを実験的に確認します。これらの結果は、SGDノイズが特徴学習の進行状況に関する情報を符号化する一方で、鞍点から鞍点へのダイナミクスを本質的には変えないことを示しています。