行列最適化のための最適な射影なし適応SGD

要旨: 近年、Jiang ら [2026] は、オンライン凸最適化に対する One-sided Shampoo [Xie ら, 2025a, An ら, 2025] アルゴリズムの実用的な変種である Leon を開発した。Leon は各反復で高コストな二次射影を計算する必要がない。残念ながら、既存の解析によれば、Leon は前処理器（preconditioner）において追加のハイパーパラメータを調整する必要があり、また有界勾配（bounded gradients）という仮定を超える凸最適化問題に対して次元に依存しない収束保証を達成できない。本論文では、Leon の前処理器について一定の安定性（stability）特性を証明することで、この問題を解決する。改善した解析により、追加のハイパーパラメータを調整する必要がないことを示し、さらに重要な点として、各反復で射影を計算することを要しない、Nesterov 加速を備えた One-sided Shampoo の最初の実用的変種を開発する。副次的な貢献として、非滑らか（non-smooth）かつ非凸（non-convex）の設定において次元に依存しない改良されたレートを得、提案手法の統一的な解析を構築する。これにより、（ブロック）対角前処理器を用いた、加速された射影不要の適応的 SGD（stochastic gradient descent）を導出する。