タスク切り替えを忘却なしで実現する近位デカップリング

arXiv cs.LG / 2026/4/22

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、継続学習における「過去の知識を忘れずに新しいタスクを学習する」という課題に対し、従来の正則化ベース手法が単一の勾配更新の中で学習と保持を過度に結合してしまう点を指摘しています。
提案法「proximal decoupling（近位デカップリング）」では、演算子分割により最適化を（1）現在のタスク損失を最小化する学習ステップと、（2）スパース正則化で不要パラメータを剪定してタスク関連のパラメータを保護する近位安定化ステップに明確に分離します。
安定性と可塑性を「相反する勾配」ではなく、互いに補完する2つの演算子間の“折衷（ネゴシエーション）”として扱うことで、タスクが長くなるほどモデルが過剰に拘束される問題の回避を狙います。
分割手法について継続学習目的に関する理論的根拠を示し、標準ベンチマークで安定性と適応性の両面で最先端の結果を報告しています。
本手法は、リプレイバッファやベイズサンプリング、メタラーニングといった追加コンポーネントを不要にしつつ有効性を示すとされています。

Qiita

ITmedia AI+

note

note

note