シャープネス認識最小化の再検討: より忠実で効果的な実装

Sharpness-Aware Minimization (SAM) は、パラメータ周囲の事前に定義された近傍内で最大の訓練損失を最小化することにより一般化を高めます。しかし、その実用的な実装はこれを、勾配上昇を1つまたは複数回行い、上昇点での勾配を現在のパラメータへ適用してパラメータを更新することとして近似します。この実践は、上昇点に対する完全な微分を現在のパラメータに対する勾配で近似的に最適化していると正当化できる場合もあります。しかし、上昇点の勾配を用いて現在のパラメータを更新することがなぜ優れて機能するのかについて、直接的で直感的な理解はまだ欠けています。私たちの研究は、このギャップを埋めるために、新規で直感的な解釈を提案します。我々は、単一步の上昇点での勾配が、\uline{現在のパラメータに適用された場合}、局所的な近傍内の現在のパラメータから最大値へ向かう方向の近似を、局所勾配だけよりも優れて提供することを示します。この改善された近似は、局所的な近傍内の最大値からより直接的に抜け出すことを可能にします。それにもかかわらず、分析はさらに2つの問題を明らかにします。第一に、単一步の上昇点の勾配による近似はしばしば不正確です。第二に、上昇ステップの回数が増えるにつれて近似の品質が低下する可能性があります。これらの制限に対処するため、本論文では eXplicit Sharpness-Aware Minimization (XSAM) を提案します。訓練中に最大の方向を明示的に推定することにより第一の問題に対処し、複数ステップの上昇点での勾配情報を効果的に活用できる探索空間を設計することで第二の問題にも対応します。XSAM は、単一步と多段設定の両方に適用可能な統一的な定式化を特徴とし、ほとんど追加の計算オーバーヘッドを生じません。広範な実験により、XSAM が既存の対向手法に対して一貫して優位性を示すことが証明されています。