分類器近接（classifier-proximal）層への軽量プラグインで蒸留ベースの継続学習の限界を押し広げる
arXiv stat.ML / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、蒸留ベースの継続学習を扱い、蒸留と学習目的をどの程度うまく結合して、過去の知識を保持しつつ新しいデータを学習できるかを制約する安定性・可塑性（stability-plasticity）のジレンマに焦点を当てる。
- 分類器近接層（classifier-proximal layer）に軽量な残差プラグインを挿入して、基盤となる特徴抽出器を大きく乱さずに意味レベルの補正を適用する、プラグイン型拡張「Distillation-aware Lightweight Components（DLC）」を提案する。
- 推論時には、DLCはプラグイン強化表現を集約して予測を形成し、さらに軽量な重み付けユニットを追加して非ターゲットのプラグイン表現を順位付けで下げ、干渉を低減する。
- 実験では、大規模ベンチマークにおいて、バックボーンのパラメータ増加はわずか4%で約8%の精度向上が報告されており、高いパラメータ効率と破壊（撹乱）効率を示している。
- 本手法は、他のプラグ・アンド・プレイ型の継続学習強化と互換性があり、それらと組み合わせることで追加の利得をもたらし得るよう設計されている。
