分類向け安定ファインチューニングのためのダイナミック・スケールド・グラディエント降下
arXiv cs.LG / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、事前学習済みモデルを疎で不均衡な分類データセットに適応する際に起きるファインチューニングの不安定さ（学習崩壊による性能低下）を扱っています。
- 学習例間で勾配が相殺されることが、崩壊した最適化挙動の要因になり得ると指摘しています。
- 著者らは、ダイナミックなスケーラーを用いて「正しく分類された例」の勾配を縮小する Dynamic Scaled Gradient Descent（「DynaScaled」）を提案します。
- 複数のベンチマークデータセット、タスク、そして大規模事前学習モデルに対する実験で、学習安定性の向上、性能ばらつきの低減、既存手法を上回る精度が示されました。
- 例ごとの勾配を調整することで、学習崩壊のダイナミクスを抑えられるという理論的・実証的な根拠が提示されています。
