正則化された深層行列因子分解の損失ランドスケープ幾何：一意性と鋭さ

arXiv stat.ML / 2026/3/31

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、二乗誤差損失で学習される深層行列因子分解／深層線形ネットワークにおいて、広く用いられるウェイトディケイ（ℓ^2正則化）が損失ランドスケープをどのように形作るかを解析する。
ほとんどすべての深さおよび正則化パラメータ値（ルベーグ測度がゼロの例外集合を除く）に対して、因子分解により表現可能な任意の目標行列について、学習問題は一意なエンドツーエンドの最小化解を持つことを証明する。
著者らは、正則化された深層スカラー因子分解の設定において、ヘッセ行列のスペクトルがすべての最小化解間で一定であることを示し、損失ランドスケープの曲率に強い構造があることを示唆する。
さらに、目標行列が測度ゼロの例外集合に属さない場合、各層のフロベニウスノルムがすべての最小化解間で一定であることを確立し、任意の最小化解におけるヘッセ行列トレースの大域的な下界を導く。
最後に、本論文は、正則化がある閾値を超えると一意な最小化解がゼロ解へ崩壊するための条件を導出する。

要旨: 重み減衰は、深いニューラルネットワーク・アーキテクチャの学習において広く用いられています。その経験的な成功はしばしば能力（キャパシティ）制御によって説明されますが、それにもかかわらず、損失ランドスケープと最小化解（ミニマイザ）の集合に対するその効果についての理論的理解はいまだ限られています。本論文では、 $\ell^2$ -正則化された深い行列因子分解／深い線形ネットワークの学習問題で、二乗誤差損失を用いる場合、因子分解が可能なすべての目標行列に対して、深さと正則化パラメータによって定まる、ルベーグ測度がゼロの集合を除き、エンドツーエンドの一意な最小化解が存在することを示します。この観察は、正則化された深い行列因子分解問題の損失ランドスケープに関する基礎的な性質を明らかにします。すなわち、二乗誤差損失を用いた正則化された深いスカラー因子分解問題の、あらゆる最小化解においてヘッセ行列スペクトルが一定であるということです。さらに、二乗誤差損失を用いた正則化された深い行列因子分解問題において、目標行列がルベーグ測度ゼロの集合に属さないならば、各層のフロベニウスノルムが、すべての最小化解にわたって一定であることを示します。これにより、正則化された深い行列因子分解問題の任意の最小化解で評価したヘッセ行列のトレースに対して、グローバルな下界が得られます。加えて、正則化パラメータがある臨界的な閾値を超えると、エンドツーエンドの一意な最小化解がゼロに崩壊することを確立します。