CLeAN: 動的環境における継続学習適応正規化

要旨:
人工知能システムは主に静的なデータ分布に依存しており、データが頻繁に変化するサイバーセキュリティ、自動運転、金融など、現実世界のダイナミックな環境では効果的ではない。継続学習は、逐次データから学習しつつ事前の知識を保持することを可能にすることで、潜在的な解決策を提供します。ただし、この分野で重要でありながら十分に検討されていない課題の一つはデータ正規化です。従来の正規化手法、例えば min-maxスケーリングは、全データセットへのアクセスを前提とするが、これは継続学習の逐次性と矛盾します。本論文では、表形式データに対する継続学習を目的として設計された新しい適応正規化手法である Continual Learning Adaptive Normalization (CLeAN) を紹介します。CLeAN は、学習可能なパラメータを用いてグローバルな特徴量スケールを推定し、それが指数移動平均 (EMA) モジュールによって更新されることで、データ分布の変化に適応できるようにします。2つのデータセットと、Resevoir Experience Replay、A-GEM、EwC などのさまざまな継続学習戦略を含む包括的な評価を通じて、CLeAN は新しいデータに対するモデルの性能を向上させるだけでなく、破局的忘却を緩和することを実証しました。これらの結果は、適応正規化が表形式データの安定性と有効性を高める上で重要であることを強調しており、動的な学習環境で知識を維持するための正規化の新しい視点を提供します。