忘れることを学ぶ：適応的な重み減衰による継続学習
arXiv cs.LG / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、有限な容量のもとで継続学習エージェントが新しい知識を獲得しつつ既存の知識を保持するために、制御された忘却が重要である点を扱っています。
- 一般的な重み減衰は一様な忘却として働くため、安定した知識を表すパラメータと、変化の速いターゲットを追跡するパラメータを区別できず非効率になり得ると指摘しています。
- 提案手法FADE（Forgetting through Adaptive Decay）は、近似メタ勾配降下により各パラメータの重み減衰率をオンラインで適応させます。
- FADEはオンライン線形設定で理論的に導出され、ニューラルネットの最終層に適用して検証されています。
- 実験ではFADEが自動的にパラメータごとに異なる減衰率を見つけ、ステップサイズ適応とも相補的に働き、オンライン追跡やストリーミング分類の課題で固定重み減衰より一貫して改善することが示されています。
