WIN-U: Woodburyに着想を得たNewton型アンラーニングとしての、保持データ不要の機械アンラーニングフレームワーク

概要: LLMにおけるプライバシー上の懸念により、データの「忘れられる権利（right to be forgotten）」を強制する必要性が急速に高まっています。機械アンラーニングは、まさにこの課題、すなわち、訓練済みモデルから特定のデータ（忘却集合、forget set）による影響を除去することを扱います。アンラーニングのゴールドスタンダードは、残りの訓練データ（保持集合、retain set）だけで学習されたはずのモデルを生成することです。既存のほとんどのアンラーニング手法は保持データへの直接アクセスに依存していますが、プライバシーやコストの制約により、それが現実的でない場合があります。本研究では、WIN-Uという、保持データを必要としないアンラーニングの枠組みを提案します。WIN-Uは、全データで元々訓練されたモデルについて、必要なのは2次情報のみです。アンラーニングは、単一のニュートン法風ステップを用いて実行します。Woodburyの行列恒等式と、忘却集合における曲率に対する一般化ガウス＝ニュートン近似により、WIN-Uの更新は閉形式の線形解を復元し、ゴールドスタンダードの再学習最適解に対する局所的な2次近似として機能します。さまざまな視覚・言語ベンチマークに対する大規模な実験により、WIN-Uが、アンラーニングの有効性と有用性の保持という観点でSOTAの性能を達成し、既存手法と比べて再学習攻撃に対してより頑健であることが示されます。重要なのは、WIN-Uが保持データへのアクセスを必要としないことです。