アブストラクト: 標準的な損失関数における暗黙のバイアス（または暗黙の正則化）は研究されてきましたが、弁別的なメトリック学習の目的によって誘起される最適化の幾何は、ほとんど未解明のままです。私たちの知る限り、本論文は、クラス内分散を最小化し、クラス間距離を最大化するように設計されたスケール不変の目的関数であるDeep LDAによって誘起される暗黙の正則化に関する、初期的な理論解析を提示します。L層の対角線形ネットワークにおける損失の勾配フローを解析することで、バランスのとれた初期化のもとで、ネットワークのアーキテクチャが、標準的な加法的勾配更新を乗法的な重み更新へと変換することを証明します。これは、（2/L）の準ノルムが自動的に保存されることを示しています。
深層線形判別分析における暗黙のバイアス
arXiv stat.ML / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、識別的なメトリック学習目的がもたらす暗黙のバイアス／正則化効果を分析し、同一クラス内分散の低減とクラス間分離の強化を目指すスケール不変な手法であるDeep LDAに焦点を当てる。
- 階層数Lの対角線形ネットワークにおける勾配フローを理論的に研究し、バランスの取れた初期化が最適化中の更新の有効な形をどのように変えるかを示す。
- 著者らは、この設定において、通常の加法的な勾配更新が乗法的な重み更新へと変換されることを証明する。
- この結果は、(2/L) の準ノルムに対する「自動的な保存」を意味し、最適化ダイナミクスと暗黙の正則化挙動を結び付ける。
- 全体として、本研究はDeep LDAの最適化幾何が十分に解明されていないことを主張し、その特徴づけに向けた最初の理論的ステップを提供する。
