差分プライバシーに基づくモデル統合

Abstract

機械学習のアプリケーションでは、推論時またはデプロイ時におけるプライバシー要件が、方針、規制、またはユーザー体験の変化により、常に変わり得ます。本研究では、同一データセット上でプライバシー/有用性のトレードオフが異なる既存モデル群が与えられていると仮定し、追加の学習手順なしで、任意の目標差分プライバシー（DP）要件を満たすためのモデルの生成を目指します。私たちは、ランダム選択と線形結合という2つの事後処理手法を提案し、任意の目標プライバシー・パラメータに対して最終的なプライベートモデルを出力します。さらに、一般的な問題に対して、R'enyi DPおよびプライバシー損失分布の観点から、これらのアプローチに関するプライバシー会計を示します。プライベート平均推定の事例研究では、プライバシー/有用性の結果を完全に特徴付け、理論的に、ランダム選択よりも線形結合が優れていることを確立します。実験的には、いくつかのモデルおよび合成データセットと実世界データセットの両方に対して、提案手法と分析を検証します。