ZO-SAM: 効率的なスパース学習のためのゼロ次最適化とシャープネスを意識した最小化

要旨: 深層学習モデルは、その顕著な成果にもかかわらず、高い計算コストとメモリ要件に悩まされており、リソース制約のある環境での利用を制限している。スパースニューラルネットワークは、パラメータ数と計算オーバーヘッドを劇的に削減することにより、これらの制約を大幅に緩和します。しかし、既存のスパーストレーニング手法はしばしば混沌としたノイズの多い勾配信号を経験し、収束と一般化性能を著しく妨げることが多く、特に高いスパース性レベルで顕著です。この重要な課題に対処するため、Zero-Order Sharpness-Aware Minimization（ZO-SAM）という新しい最適化フレームワークを提案します。これは、SAMアプローチ内に戦略的にゼロ次最適化を組み込むものです。従来のSAMとは異なり、ZO-SAMは摂動時にわずか1回の誤差逆伝播ステップのみを必要とし、ゼロ次勾配推定を選択的に利用します。この革新的な手法は、従来のSAMと比較してバックプロパゲーションの計算コストを半分に削減し、勾配の分散を大幅に低減し、関連する計算オーバーヘッドを効果的に排除します。平坦な極小値を識別するSAMの能力を活用することで、ZO-SAMは学習過程を安定させ、収束を加速します。これらの効率向上は、スパーストレーニングの状況で特に重要であり、計算コストがSAMの実用性を制限する主要なボトルネックとなっているためです。さらに、ZO-SAMで訓練されたモデルは、分布シフトに対する頑健性が向上し、実世界の展開における実用性をさらに広げます。