CLion：一般化性能を高めた効率的なCautious Lion Optimizer
arXiv cs.LG / 2026/4/17
📰 ニュースModels & Research
要点
- 本論文はLionオプティマイザの文献にあるギャップを埋めるため、アルゴリズム安定性に基づく一般化分析を行い、一般化誤差が O(1/(N τ^T)) となることを導出します。
- SignSGDがLionと同じ一般化誤差の上界を達成するという重要な関連性を示しています。
- 著者らは、符号関数の使い方をより慎重にする「Cautious Lion」（CLion）と呼ばれる効率的なオプティマイザを提案し、一般化性能の向上を狙います。
- CLionは、Lionの O(1/(N τ^T)) に対して O(1/N) のより良い一般化率を持つことが証明され、さらに非凸の確率最適化で ℓ1ノルム条件の下に O(√d / T^{1/4}) の速い収束率も保証されています。
- 広範な数値実験により、CLionの有効性が裏付けられています。
