最適レートを実現する高次元・プライベート線形回帰
arXiv stat.ML / 2026/4/28
💬 オピニオンModels & Research
要点
- 本論文は、訓練サンプル数 n と入力次元 d が d/n → γ の比で同程度に増える高次元のランダムデータ領域における、差分プライバシー（DP）付き線形回帰を扱う。
- ρ²/2 のゼロ集中DPの下で、ワンパスのDP勾配降下（DP-GD）アルゴリズム群を対象にし、軌道の決定論的同等物を ODE（常微分方程式）系を通じて導出する。
- さらに、実務上の性能改善として知られる「1サンプル勾配の典型的なノルムより小さな勾配クリッピング定数」を設定したときに、収束やリスクにどう影響するかを定量化する。
- よく条件づけられたデータでは、適切にクリッピング定数と学習率を選ぶことで、非漸近リスク O(γ + γ²/ρ²) を達成でき、このレートがミニマックス最適であることを示す。
- 共分散スペクトルがパワーロー状に減衰する、条件の悪い場合にはリスクが γ に対して別の（パワー的な）スケーリング則に従い、プライバシー・パラメータ ρ によって指数が変化することを明らかにする。加えて、攻めた勾配クリッピングや学習率減衰スケジュールの利点も強調する。
