互換性のあるシフト下での共有マニフォールド継続としての継続学習

要約：Continual learning methods usually preserve old behavior by regularizing parameters, matching old outputs, or replaying previous examples. これらの戦略は忘却を減らすことができるが、それらは潜在表現がどのように進化すべきかを直接指定するものではない。古いデータと新しいデータが同じ潜在サポートの上に留まるべきだという領域に対する、より狭い幾何学的代替を研究する：共通の多様体の継続としての継続学習。 この見解をサポート保持型多様体同化（SPMA）の枠組みで具体化し、古いアンカー上でスパースリプレイ、出力蒸留、関係幾何学の保持、局所平滑化、およびチャート割り当て正則化を組み合わせた幾何学的保持バリアント SPMA-OG を評価する。代表的な適合シフト CIFAR10 および Tiny-ImageNet の実行において、SPMA-OG は古いタスクの保持と表現保持の指標においてスパースリプレイのベースラインを上回り、新しいタスクの精度でも競争力を維持する。制御された合成アトラス-多様体ベンチマークでは、ほぼ完璧なアンカー幾何保持を達成するとともに、リプレイよりも新しいタスクの精度を向上させる。これらの結果は、継続学習が共有された潜在サポートを保持すべき場合に、幾何学を意識したアンカー正則化が有用な帰納的バイアスであることを示す証拠を提供する。