ニューラルネットワーク最適化を再考：スクラッチ学習とファインチューニングを分離した手法
arXiv cs.CV / 2026/4/28
📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 本論文では、スクラッチ学習と事前学習モデルのファインチューニングという2つの状況に合わせて最適化戦略を分離するオプティマイザ「DualOpt」を提案している。
- スクラッチ学習では、リアルタイムの層ごとの重み減衰（weight decay）を導入し、収束と汎化を改善することを狙っている。
- ファインチューニングでは、オプティマイザに統合された重みロールバックを各更新ステップに組み込み、上流モデルと下流モデルの重み分布の整合性を保つことで知識の忘却を抑え、性能を高める。
- さらに、層ごとの重み減衰を拡張し、下流タスクごとの要求に応じてロールバックの度合いを層間で動的に調整する。
- 画像分類、物体検出、セマンティックセグメンテーション、インスタンスセグメンテーションの幅広い実験で、DualOptの汎用性と最先端性能が示されており、コードはGitHubで公開されている。
