欺瞞の尺度：機械アンラーニングにおけるデータ改ざんの分析

概要: プライバシー規制と、有害なデータの影響を軽減する必要性に動機づけられて、機械アンラーニングは、学習済みモデルを変更して、指定されたデータを効果的に「忘れる」ようにすることを目指します。アンラーニングの検証における重要な課題は emph{偽造} であり、すなわち、標的点の勾配を模倣するように敵対的にデータを作り込み、それによって実際には情報を除去せずにアンラーニングが行われたような見かけを作ることです。この現象を捉えるために、許容差 epsilon の範囲で、標的勾配を近似する勾配を持つデータ点の集合を考えます。これを epsilon-偽造集合（ epsilon-forging set）と呼び、その解析のための枠組みを開発します。線形回帰および1層のニューラルネットワークにおいて、この集合のルベーグ測度が小さいことを示します。これはオーダーとして epsilon でスケールし、 epsilon が十分に小さいときは epsilon^d になります。より一般に、弱い正則性仮定の下で、偽造集合の測度は epsilon^{(d-r)/2} のように減衰することを証明します。ここで d はデータの次元であり、r<d は、モデル勾配によって定義される変動行列における「小さい」特異値に対応する右特異ベクトル空間の次元です。バッチSGDおよびほぼ至る所で滑らかな損失関数への拡張でも、同じ漸近スケーリングが得られます。さらに、非縮退なデータ分布の下で、ランダムに偽造点をサンプリングする確率が、消えゆくほど小さいことを示す確率的な評価（確率境界）を確立します。これらの結果は、敵対的な偽造が根本的に本質的に制限されており、誤ったアンラーニング主張は原理的には検出可能であることを示す証拠を与えます。