差分プライバシーによる通信効率の高い分散学習
arXiv cs.LG / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、無向ネットワーク上で非凸の機械学習を行う方法を、通信を最小化することとエージェントのデータのプライバシーを保護することの2つの制約の両立という観点から研究する。
- 通信頻度を下げるローカルトレーニング手法を提案し、勾配クリッピングと加法的ノイズによって勾配を攪乱することで、差分プライバシー風の保護を組み合わせる。
- 著者らは収束解析を提示し、この分散非凸目的に対して、（有界な距離の範囲で）停留点に到達することを証明する。
- さらに、差分プライバシーの保証を導出し、定義されたプライバシーの枠組みにおいて共有された学習済みモデルからエージェントの学習データを推測できないことを示す。
- 分類タスクでの実験では、同一のプライバシーバジェットの下で、既存の最先端のプライバシー保護手法よりも高い精度が得られることが示される。
