AdaCubic: 深層学習向けの適応的な三次正則化オプティマイザ
arXiv cs.LG / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- AdaCubicは、ニュートン型のcubic regularized methodにおける「三次項の重み」を状況に応じて動的に調整する新しい正則化ベースのオプティマイザとして提案されています。
- 重いHessian行列の計算を避けるためにHutchinson法で近似し、計算コストを抑えながら補助最適化問題を解く設計になっています。
- AdaCubicは、三次正則化ニュートン法の局所収束保証を継承するとされています。
- CV/NLP/信号処理の複数タスク実験で、既存の代表的オプティマイザに対して優位または競争力が示され、かつ固定ハイパーパラメータで評価できるため微調整が難しい場面で有用とされています。
