忘却セット非依存のアンラーニングによるプライバシーリスクの軽減

要旨: 機械学習モデルを訓練するには、大規模なデータセットの保存が必要であり、これらのデータセットにはしばしば機微情報や個人情報が含まれます。データの保存には、データベースの侵害や悪意ある敵対者といった、時間とともに増大する複数の潜在的リスクが伴います。機械アンラーニングは、事前に訓練済みモデルから、訓練データ部分集合の影響を効率的に取り除く方法の研究です。既存のアンラーニング手法は一般に、「忘却セット」（忘れるべきデータ）への直接アクセスを必要とします。また、組織は、依頼に応じて直ちに削除するのではなく、忘却のためにこのデータを保持しなければならず、忘却セットに関連するリスクが増大します。私たちは、補助情報を利用して、忘却セットへの明示的なアクセスなしに忘却を行う部分秘匿（partially-blind）アンラーニングを提案します。さらに、部分秘匿アンラーニングを実運用可能にするための、勾配最適化と構造化された重みの疎化に基づく部分秘匿手法の枠組み Reload を提案します。Reload は、スクラッチから再訓練したモデルを近似しながら効率的に忘却を実現し、いくつかの忘却セット依存アプローチよりも優れた性能を示すことを確認します。言語モデルにおいて、Reload は <0.025% のリテイン（retain）セットと <8分の間に、Llama2-7B ではモデル重みの <7% を用いて）エンティティを忘却します。是正（corrective）の場合には、壊されたデータのうち特定できたものが 10% だけであっても、Reload は忘却を達成します。