エッジを滑らかにする：Hadamardの過剰パラメータ化による疎正則化のための滑らかな最適化

Abstract

本稿では（構造化された）疎性に対して、明示的に正則化された目的関数を滑らかに最適化するための枠組みを提示する。これらの非滑らかで、場合によっては非凸な問題は、典型的には特定のモデルと正則化項に合わせて調整されたソルバに依存している。これに対し、我々の手法は完全に微分可能で近似を伴わない最適化を可能にし、そのため深層学習における遍在する勾配降下のパラダイムと両立する。提案する最適化転送は、選択したパラメータの過パラメータ化と、ペナルティの変更から構成される。過パラメータ化された問題では、滑らかな代理の正則化が、基礎となるパラメータ化に対して非滑らかで疎な正則化を誘導する。我々は、その代理目的が、同一の大域的最小値を持つだけでなく一致する局所的最小値も持つという意味で等価であることを証明し、偽の解（spurious solutions）の導入を回避する。さらに、我々の理論は、任意の（おそらく未正則化の）目的関数に対する局所的最小値の一致に関して、独立した関心を持たれる結果を示す。我々は、一般理論によってカバーされる異なる分野における疎性を誘発するパラメータ化を包括的にレビューし、その適用範囲を拡張するとともに、いくつかの観点で改良案を提案する。数値実験は、提案手法の正しさと有効性を、高次元回帰から疎なニューラルネットワークの学習までの複数の疎学習問題においてさらに実証している。