Sven：計算効率の高い自然勾配法としての特異値降下（Singular Value Descent）

arXiv cs.LG / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、ニューラルネットの最適化手法「Sven（Singular Value dEsceNt）」を提案し、損失を単一スカラーに集約せずに、データ点ごとの残差条件を同時に満たす更新を行うと述べています。
Svenは、損失ヤコビアンに対するMoore-Penrose擬似逆行列を用い、この擬似逆行列をk方向の打ち切りSVDで近似することで、SGDに対する計算オーバーヘッドを概ねk倍に抑える設計になっています。
既存の自然勾配法がパラメータ数に対して二乗スケールしやすいのに対し、Svenは、過剰パラメータ領域では自然勾配を一般化した形として理解でき、劣制（under-parametrized）極限では自然勾配降下に回帰すると説明しています。
回帰タスクでは、SvenがAdamなどの通常の一次法を大きく上回り、より速い収束とより低い最終損失を示し、LBFGSとも競合しつつ大幅に短いウォールタイムを達成したと報告しています。
スケーリング上のボトルネックとして主にメモリ負荷を挙げ、その低減策も議論しており、条件分解型の損失を扱う科学計算への応用可能性に言及しています。