Abstract
ニューラルネットワークに対するフルバッチ勾配降下は、最大ヘッセ行列固有値を閾値 2/\eta に押し込む。ここで eta は学習率である。この現象（Edge of Stability：安定性の縁）は、統一的な説明に抵抗してきた。既存の説明は、縁の近傍で自己制御が働くことは示すが、なぜ軌道が任意の初期化から 2/\eta に向けて強制されるのかを説明していない。我々は、連続する反復ペアに対する関数である「edge coupling（縁結合）」を導入する。この関数の係数は、勾配降下の更新によって一意に定まる。その臨界性の条件を差分化すると、安定性境界 2/\eta を持つステップの再帰関係が得られ、さらに2次の展開によって損失変化の式が導かれる。この式の望遠和が、曲率を 2/\eta に向けて強制する。これら2つの式は異なるヘッセ行列の平均を含むが、平均値の定理によってそれぞれが、ステップ区間の内部点における真のヘッセ行列へ局所化される。これにより、ギャップなしで、ヘッセ行列固有値が正確に強制される。縁結合に関する両方の勾配を零と置くことで、固定点および周期2の軌道が分類できる。固定点の近傍では、この問題は半振幅のみによって記述される関数へと帰着し、どの方向が周期2の軌道を支持するか、またそれらが臨界学習率のどちら側に現れるかが決まる。
