ノルム制約下での多クラス分離可能データに対する暗黙のバイアスに向けて

arXiv cs.LG / 2026/3/25

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、ノルム制約下で多クラスの分離可能データを学習する際に、勾配ベースの学習が生み出す暗黙のバイアスが最適化ジオメトリによってどのように形成されるかを調べる。
界面（ジオメトリ）に配慮したオプティマイザであるNucGDを提案し、核ノルム制約を用いて低ランクの解構造を促す。
本研究はNucGDを低ランク射影手法と結びつけ、暗黙のバイアスと最適化挙動の両方を統一的な観点で位置づける。
学習のスケーラビリティを高めるために、著者らは非同期パワーイテレーションに基づくSVD不要のパラメータ更新を導出する。
実験では、ミニバッチによる勾配ノイズやモメンタムといった確率的最適化の要因が、期待される最大マージン解へ向かう収束にどのように影響するかを分析する。