ランダムクロッピングによるフリーな増幅パッチレベル差分プライバシー

arXiv cs.LG / 2026/3/27

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ランダムクロッピングによって視覚モデルの入力から空間的に局所化した機微情報（例：顔やナンバープレート）を確率的に除去できることを研究しており、DP-SGD 学習中に新たなプライバシーに関係するランダム性の源を追加する。
画像に対するパッチレベルの近傍関係を導入し、これをランダムクロッピングと組み合わせたときの DP-SGD に対して厳密な差分プライバシー境界を導出する。
分析では、パッチが含まれる確率を定量化し、それがミニバッチサンプリングとどのように相互作用して、プライバシー計算（accounting）のサンプリング率を実質的に低減するかを説明する。
複数のセグメンテーション・アーキテクチャおよびデータセットに対する実験により、モデルのアーキテクチャや学習手順を変更することなく、パッチレベルのプライバシー増幅によってプライバシー—有用性のトレードオフが改善されることを示す。
著者らは、既存の確率的学習コンポーネントを活用することで、プライバシー計算にドメイン構造を取り込む（＝プライバシー保証を強化する）ことが、追加の計算コストや実装コストなしに可能であると主張する。

Abstract

ランダムクロッピングは、コンピュータビジョンにおける最も一般的なデータ拡張手法の1つである。しかし、学習時に異なる差分プライバシー機械学習モデルにおける、その内在するランダム性の役割は、これまで十分に調べられていなかった。画像内の機微な内容が顔やナンバープレートのように空間的に局在している場合、ランダムクロッピングによって、その内容が確率的にモデルの入力から除外され得ることを観察する。これは、勾配ノイズやミニバッチサンプリングに加えて、確率的勾配降下法による差分プライバシー学習における、3つ目の確率性の源となる。この追加のランダム性は、モデルのアーキテクチャや学習手順の変更を必要とせずに、差分プライバシーを増幅させる。われわれは、この効果を形式化するために、視覚データに対するパッチ・レベルの近接関係を導入し、ランダムクロッピングと組み合わせた差分プライバシー確率的勾配降下法（DP-SGD）に対するタイトなプライバシー境界を導出する。分析により、パッチ包含確率を定量化し、それがミニバッチサンプリングとどのように合成されて、より低い実効サンプリング率をもたらすかを示す。実験的に、パッチ・レベルの増幅が、複数のセグメンテーション・アーキテクチャとデータセットにわたって、プライバシーと有用性のトレードオフを改善することを検証する。これらの結果は、プライバシー会計をドメイン構造および追加の既存のランダム性の源と整合させることで、追加コストなしにより強い保証が得られることを示している。