モメンタムが複雑な領域で振動を抑制し、収束を加速することで勾配降下法をどのように最適化するか
記事 なぜ勾配降下法はジグザグするのか、そしてモメンタムがそれをどう解決するのか は、MarkTechPost に最初に掲載されました。
勾配降下法がジグザグする理由と、モメンタムがそれを解決する方法
MarkTechPost / 2026/5/5
💬 オピニオンIdeas & Deep Analysis
要点
- この記事では、最適化の過程で勾配降下法が「ジグザグ」することがあるのは、ステップごとに勾配の向きが変わるためだと説明しています。
- この挙動は、損失関数の曲率や、条件が悪い／複雑な問題における影響によって引き起こされる振動（オシレーション）に起因するとしています。
- モメンタムは、過去の勾配を移動平均として蓄積することで振動を抑え、対策になると述べています。
- 更新の向きを一貫させることで、通常の勾配降下法よりも最小値へ向けた収束を速められると説明しています。
