忘れるための設計:アンラーニングのための深い半パラメトリックモデル

arXiv cs.CV / 2026/3/25

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、機械アンラーニングの難しさがモデルのアーキテクチャによって変わることを主張し、効率的なアンラーニングに適した深い半パラメトリックモデル(SPM)を提案する。
  • SPMは融合モジュールを組み込み、学習時の各サンプルに関する情報を集約することで、モデルが学習したパラメータを変更することなく、選択したサンプルをテスト時に明示的に削除できるようにする。
  • 画像分類および生成に関する実験により、SPMは従来の全パラメトリックモデルに対して競争力のあるタスク性能を維持することが示される。
  • ImageNet分類では、SPMはオラクルによる再学習ベースラインとの予測ギャップを11%縮小し、さらに、パラメトリックモデルに対する先行手法よりも10倍以上高速なアンラーニングを実現する。
  • 著者らは、リンクされたGitHubリポジトリでオープンソースの実装を提供している。

Abstract

近年の機械アンラーニングの進歩は、学習済みモデルから特定の学習サンプルを削除するためのアルゴリズムの開発に焦点を当ててきました。対照的に、どのモデルも同じように簡単にアンラーニングできるわけではないことを、私たちは観察します。そこで、アンラーニング中に非パラメトリックな振る舞いを示す深い半パラメトリック・モデル(SPM)のファミリーを提案します。SPMは、各学習サンプルからの情報を集約するフュージョン・モジュールを用いることで、モデルのパラメータを変更することなく、選択したサンプルの明示的なテスト時削除を可能にします。実験的に、SPMは画像分類および生成において、パラメトリック・モデルに対して競争力のあるタスク性能を達成しつつ、アンラーニングのためには大幅に効率的であることを示します。特に、ImageNet分類では、SPMは再学習(オラクル)ベースラインに対する予測ギャップを11\%縮小し、パラメトリック・モデルに対する既存手法と比べて10倍以上高速なアンラーニングを実現します。コードは https://github.com/amberyzheng/spm_unlearning で公開されています。