ミニマックス最適性を備えた効率的な機械アンラーニング

Abstract

GDPRのような規制への準拠や、偏ったデータや破損したデータの影響を緩和するために、効率的なデータ削除への需要が高まっています。これにより、機械アンラーニングの分野が動機づけられてきました。機械アンラーニングは、完全な再学習を行うことなく、特定のデータ部分集合の影響を取り除くことを目的とします。本研究では、汎用の損失関数に基づく機械アンラーニングのための統計的枠組みを提案し、理論的保証を確立します。特に二乗損失の場合には、Unlearning Least Squares（ULS）を開発し、利用可能な情報が、事前学習済み推定器、忘却サンプル、そして残りデータからの小さなサブサンプルのみである状況において、残存データのモデルパラメータを推定するための最小最大（minimax）最適性を示します。得られた結果は、推定誤差が、オラクル項と、忘却割合および忘却モデルのバイアスによって決まるアンラーニングコストに分解されることを明らかにします。さらに、完全な再学習を必要とせずに、漸近的に妥当な推論手続きを確立します。数値実験と実データへの適用により、提案手法が、必要なデータアクセス量を大幅に抑えながら、再学習に近い性能を達成することが示されます。