学習可能性とプライバシー脆弱性はごく少数の重要な重みに絡み合っている

要約：従来のメンバーシッププライバシー保護のアプローチは通常、ニューラルネットワークのすべての重みを更新または再訓練しますが、これはコストが高く、不要な有用性の低下を招くことがあり、訓練データと非訓練データ間の予測の不整合がより深刻になる可能性があります。
本研究では、以下の3つの洞察を観察しました： i) プライバシーの脆弱性は非常にごく一部の重みに存在します； ii) しかし、それらの重みの多くは、ユーティリティ性能にも重大な影響を与えます； iii) 重みの重要性はその値ではなく、配置（場所）に由来します。
これらの洞察に基づき、プライバシーを保つために、重要な重みをスコア付けし、これらのニューロンを捨てる代わりに、微調整のために重みだけを巻き戻します。
広範な実験を通じて、この機構は、ユーティリティを維持しつつ、メンバーシップ推定攻撃に対する耐性がほとんどのケースで従来よりも優れていることを示しています。