ランダム射影による最適な差分プライバシー付きカーネル学習
arXiv stat.ML / 2026/4/30
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ガウス過程を用い再生核ヒルベルト空間上でランダム射影によりプライバシーを備えたERMを行う、差分プライバシー付きカーネル学習手法を提案する。
- 局所的強凸性の条件のもとで、二乗損失とLipschitz-smoothな凸損失の双方に対して、過剰リスクに関する最小最大（minimax）最適な収束率が得られると主張している。
- 先行研究の次元削減手法（ランダムフーリエ特徴写像など）やℓ2正則化といった手法では、ランダム射影法に比べて過剰リスクの上界が劣ると論じている。
- 主要な理論貢献として、目的摂動（objective perturbation）に基づく差分プライバシー付き線形ERMについて、ノイズ付き勾配に依存しない次元非依存の過剰リスク上界を導出しており、加えて既存の差分プライバシー付きカーネルERMの境界もより鋭くしている。
- 実験により、理論的主張を支持し、ランダム射影が次元削減を通じてプライバシーと有用性のバランスを取りつつ、統計的に効率的で最適にプライバシー保護されたカーネル学習を可能にすると示されている。
