題目:OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality

要旨:指数移動平均（EMA）は、Adamのような広く用いられている最適化手法の中核です。しかし、Adam型手法に関する既存の理論解析には注目すべき制限があります。それは、零ノイズ領域で保証が最適でないままになり得ること、（有界勾配や目的関数ギャップなど）厳しい有界性条件に依存していること、一定またはオープンループのステップサイズを用いていること、あるいはLipschitz定数の事前知識を要求することです。こうしたボトルネックを解消するために、我々はOptEMAを提案し、2つの新しい変種を解析します。すなわち、OptEMA-Mは、2次の減衰を固定したまま、1次モーメントに適応的で減少するEMA係数を適用するものであり、OptEMA-Vはこれらの役割を入れ替えるものです。決定的に重要なのは、OptEMAがクローズドループであり、さらに「パラメータ化のためにLipschitz定数を必要としない」意味でLipschitzフリーであることです。つまり、その有効ステップサイズは軌道（トラジェクトリ）依存であり、Lipschitz定数をパラメータ化に用いません。標準的な確率的勾配降下法（SGD）の仮定、すなわち滑らかさ、下に有界な目的関数、分散が有界で勾配が偏りを持たないことの下で、厳密な収束保証を確立します。両変種は、平均勾配ノルムに対して、$~\mathcal{O}(T^{-1/2}+\sigma^{1/2} T^{-1/4})$ というノイズに適応した収束率を達成します。ここで$~\sigma$はノイズレベルです。特に、$~\sigma=0$となる零ノイズ領域では、我々の評価は、手動でハイパーパラメータを再調整することなく、ほぼ最適な決定論的収束率 $~\mathcal{O}(T^{-1/2})$ に帰着します。

ブックマーク

書誌情報と引用ツール

本記事に関連付けられたコード、データ、メディア

デモ

レコメンダーと検索ツール