過パラメータ化ネットワークにおける最適化における対称性の役割

Abstract

過剰パラメータ化は深層学習の成功の中心にある一方で、それが最適化を改善する仕組みは十分には理解されていません。私たちはニューラルネットワークにおける重み空間の対称性を解析し、過剰パラメータ化が最適化に有益な追加の対称性を導入することを示します。第一に、これらの対称性がヘッセ行列に対する一種の対角前処理として作用し、機能的に同一な解の各同値類の内部に、よりよい条件数を持つ極小値の存在を可能にすることを証明します。第二に、過剰パラメータ化は、典型的な初期化の近傍にある大域的最小値の確率質量を増大させ、これらの好ましい解がより到達可能になることを示します。教師−生徒ネットワークの実験によって理論的予測が検証されます。幅が増加するにつれて、ヘッセ行列のトレースが減少し、条件数が改善し、収束が加速します。本解析は、過剰パラメータ化と幅の増大を、損失地形の幾何学的な変換として理解するための統一的枠組みを提供します。