メモリ効率のオンライン継続学習のためのプロトタイプ標本凝縮

要約: リハーサルベースの継続学習（CL）は、以前のタスクのサンプルの一部を再現のために保持することで、破局的忘却を緩和します。既存の研究は主にコアセット選択戦略を通じたメモリストレージの最適化に焦点を当てています。これらの方法は有効ですが、満足のいく性能を維持するためには、クラスごとに大量のサンプル（SPC）を格納する必要があることが多く、20を超えることも珍しくありません。本研究では、特徴抽出器を通過させたときに代表的なプロトタイプを形成できるプロトタイプ的標本を合成・格納することで、メモリフットプリントをさらに圧縮することを提案します。これらの標本は代表性のおかげで、少数のサンプルのみを用いて以前の知識をモデルに保持させることを可能にしつつ、プライバシーを保護します。さらに、トレーニング中に以前のデータの合成的なバリアントを生成する摂動ベースの拡張機構を導入し、それによってCLの性能を向上させます。広く用いられているベンチマークデータセットと設定での広範な評価は、提案アルゴリズムが既存のベースラインと比較して優れた性能を発揮することを示しており、特に大規模データセットと多くのタスクを含むシナリオで顕著です。