ダイナミック・ディスティレーションと勾配整合性による頑健な長尾インクリメンタル学習

要旨: 長い尾を持つクラスのインクリメンタル学習（Long-tailed Class Incremental Learning: LT-CIL）の課題は、不均衡なクラス分布を持つデータセットから新しいクラスを順次学習することを扱います。この状況は、継続学習に固有の根本的な壊滅的忘却（catastrophic forgetting）の問題を強めると同時に、少数派クラスの過小学習と多数派クラスの過学習という二重の課題をもたらします。これらの複合的な問題に取り組むために、本論文では主に2つの手法を提案します。まず、勾配整合性正則化を導入します。これは、勾配の移動平均を活用して急激な変動を抑え、学習プロセスを安定化させるものです。次に、正規化エントロピーによってクラス不均衡の度合いを測定し、蒸留損失（distillation loss）の重みを動的に調整します。この適応的な重み付けにより、古い知識の保持と新しい情報の獲得の間に最適なバランスが確立されます。CIFAR-100-LT、ImageNetSubset-LT、Food101-LT のベンチマークに関する実験では、提案手法が最大5.0までの一貫した精度向上を達成することが示されます。さらに、タスクが多数派クラスから少数派クラスへと進む困難な「In-ordered」設定において、大幅な改善が得られることを示します。これは、不利な学習ダイナミクスの下でも忘却を軽減する上での頑健性を強調しています。この強化された性能は、計算オーバーヘッドの大幅な増加なしに実現されており、本枠組みの実用性が示されています。