バッチ正規化線形モデルにおける遅延するロススパイクのメカニズム研究

概要：ニューラルネットワークの学習において、遅延した損失スパイクが報告されているが、既存の理論は主に、過度に大きな固定学習率によって引き起こされる、より早期の非単調挙動を説明するものとなっている。私たちは、1つの様式化された仮説を研究する。すなわち、正規化によって、有望な下降（それ以外は安定している）中に有効学習率が徐々に増大することで、発散（不安定性）を遅らせられる可能性がある、という仮説である。この仮説を定理レベルで検証するために、我々はバッチ正規化された線形モデルを解析する。主力の結果は、ホワイトニングされた二乗損失の線形回帰に関するものであり、そこでは、明示的な「上昇エッジなし」条件および「遅延発症」条件を導出し、方向性のオンセット（立ち上がり）までの待機時間を上から抑え、そして、立ち上がりエッジが有限回の反復以内に自己安定化することを示す。さらに、二乗損失の分解と組み合わせることで、ホワイトニングされた領域における具体的な遅延スパイクのメカニズムが得られる。ロジスティック回帰については、高度に制限的なアクティブ・マージン仮定の下で、ナイフエッジ領域における支持的な有限時間の方向性プリアクサ（先行兆候）のみを証明し、加えて、追加の非退化条件のもとで、付録のみの損失の下界も任意に提示できる。したがって本論文は、ニューラルネットワークの損失スパイクに対する一般的な説明として読むのではなく、様式化されたメカニズムの研究として読むべきである。その範囲において、本結果は、バッチ正規化によって誘発される1つの具体的な遅延不安定化経路を切り出している。