選択的勾配射影による継続学習における忘却の軽減
arXiv cs.LG / 2026/3/31
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、継続学習における壊滅的忘却（catastrophic forgetting）に対し、Selective Forgetting-Aware Optimization（SFAO）を提案することで、新しいタスクが到来した際のニューラルネットワークの更新の仕方を制御する。
- SFAOは、コサイン類似度と層ごとのゲーティングを用いて勾配の方向を調整し、パラメータ更新を選択的に射影／受理／破棄することで、可塑性と安定性のバランスをとる。
- 選択的な更新メカニズムには、計算コストを現実的に保つことを目的とした効率的なモンテカルロ近似を用いる。
- 標準的な継続学習ベンチマークでの実験により、競争力のある精度が示され、メモリコストを約90%削減し、MNISTタスクにおいて忘却性能が改善される。
- 著者らはSFAOを、エピソード（exemplars）や大規模バッファの保存コストが高いリソース制約のある環境で特に適していると位置付けている。
