要旨: 本論文では、サンプルごとの勾配クリッピングに基づく堅牢な勾配推定器を提案し、その性質を理論的および実験的の両面から解析する。得られる手法、サンプルごとにクリップしたSGD（PS-Clip-SGD）は、重い裾をもつ勾配雑音の下での非凸最適化問題に対し、期待値の意味で最適な収束率を達成することを示す。さらに、失敗確率における多項対数因子の範囲まで、期待値での収束率と一致する高確率の収束保証を確立する。理論結果は複数の数値実験によって補完する。具体的には、PS-Clip-SGDが、CIFAR-100データセット上でAlexNetを学習する際に、サンプルごとクリッピングによる追加の計算時間を考慮した後でも、モメンタム付きの通常のSGDと標準的な勾配クリッピングの両方を上回ることを実証する。また、勾配蓄積が存在する場合には、ミニバッチレベルでクリッピングを適用することで、ほぼ追加の計算コストなしに学習性能を向上できることを経験的に示す。この発見は、全ての蓄積ステップが完了した後にのみクリッピングを適用するという一般的な慣行と矛盾するため、特に興味深い。
1サンプルごとのクリッピングによる頑健で高速な学習
arXiv stat.ML / 2026/5/5
💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 本論文では、重い裾をもつ勾配ノイズ下で学習の安定性を高めるために、1サンプルごとの勾配クリッピングを用いた堅牢な勾配推定手法PS-Clip-SGDを提案する。
- 著者らは理論的に、非凸最適化において期待値の意味で最適な収束率を示し、さらに失敗確率に関して多項対数因子の範囲で同等の高確率収束保証も確立する。
- 実験では、PS-Clip-SGDが標準的な勾配クリッピングだけでなく、モメンタム付きSGDとも比較して、追加計算（1サンプルごとのクリッピングによる）を見込んでも、CIFAR-100でAlexNetの学習性能を上回ることが示される。
- さらに勾配蓄積（gradient accumulation）を行う場合、蓄積ステップをすべて終えた後にクリッピングするという一般的な慣行に反し、ミニバッチ単位でクリッピングすることで性能が改善しつつ、ほぼ追加の計算コストがないことも実証する。
