保持-忘却のエンタングルメントに基づく機械的アンラーニング

arXiv cs.LG / 2026/3/30

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、機械的アンラーニングにおける共通の課題を扱う。すなわち、忘却対象のサブセットを忘れさせようとすると、特徴量や意味的相関のために保持対象（retained）のサンプルまで意図せず損なわれてしまう問題である。
2段階の最適化アプローチを提案する。第1段階では、忘却セットに対する損失を高めつつ、関連性がより低い保持データの精度を保護するために、拡張ラグランジュ（augmented Lagrangian）ステップを用いる。
第2段階では、意味的に関連する保持サンプルに対して特に劣化を抑えるために、ワッサースタイン距離（Wasserstein-2）で正則化した勾配射影（gradient projection）ステップを用いる。
複数のアンラーニング課題、ベンチマークデータセット、ニューラルネットワークのアーキテクチャにわたる実験により、既存のベースラインと比べて、保持精度と除去の忠実性（removal fidelity）のトレードオフが改善されることを示す。

概要: マシンアンラーニングにおける部分集合の忘却は、めったに孤立した作業ではありません。忘却セットと密接に関連する保持サンプルは、特に事前学習からの相関した特徴を共有している場合、または強い意味的類似性を示す場合に、意図せず影響を受けることがよくあります。この課題に対処するために、本研究では、そのような「保持と忘却のもつれ（retai-forget entanglements）」を扱うことを目的として特別に設計された新しい二段階の最適化フレームワークを提案します。第一段階では、拡張ラグランジュ法により、関連性の低い保持サンプルの精度を保ちながら、忘却セットに対する損失を増大させます。第二段階では、ウォッサースタイン-2距離によって正則化された勾配射影ステップを適用し、意味的に関連する保持サンプルにおける性能低下を緩和しつつ、アンラーニングの目的を損なわないようにします。複数のアンラーニング課題、標準的なベンチマークデータセット、さまざまなニューラルアーキテクチャに対して包括的な実験により本手法を検証し、既存のベースラインを精度保持と除去の忠実性の両面で上回りながら、有効で信頼性の高い忘却を実現できることを示します。