忘却専用の方向を深さに応じて除去する「クラス忘却アンラーニング」：深さ認識型プロジェクションによる手法DAMP

概要: 機械アンラーニングは、最初から再学習するコストをかけずに、学習済みモデルから特定の知識を取り除くことを目指します。しかし、クラス・アンラーニングにおいては、忘却クラスでの精度を下げることが、必ずしも真の忘却を意味しません。忘却された情報は内部表現に符号化されたまま残り得て、表面的な忘却は、表現の除去ではなく分類器ヘッドの抑制によって生じる可能性があります。私たちは、既存のクラス・アンラーニング手法がしばしば弱い、または負の選択性を示し、深い表現において忘却クラスの構造を保持していたり、最終層のバイアスのシフトに強く依存していたりすることを示します。次に、DAMP（Depth-Aware Modulation by Projection）を提案します。これはワンショットの閉形式（クローズドフォーム）による重み手術手法であり、勾配ベースの最適化を用いることなく、事前学習済みネットワークから忘却に固有の方向性を取り除きます。各段階でDAMPは、次に学習可能な演算子の入力空間においてクラス・プロトタイプを計算し、保持クラスのプロトタイプに対する残差として忘却方向を抽出し、投影ベースの更新を適用して、その方向性への下流の感度を低減します。有用性を維持するために、DAMPはプローブの分離可能性に基づくパラメータ不要の深さ対応スケーリング則を用い、初期層ではより小さな修正を行い、より深い層ではより大きな修正を行います。この手法は、低ランク部分空間の除去を通じて、多クラス忘却へ自然に拡張できます。MNIST、CIFAR-10、CIFAR-100、Tiny ImageNetにおいて、また畳み込みおよびトランスフォーマーの両方のアーキテクチャにおいて、DAMPは先行手法のいくつかよりも再学習のゴールドスタンダードにより近い挙動を示し、選択的忘却を改善しつつ、保持クラスの性能をより良く維持し、深い層における残存する忘却クラス構造を低減します。