Edgeworth Accountant:差分プライバシー合成に対する分析的アプローチ

arXiv stat.ML / 2026/4/8

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 論文は、複数の差分プライバシー機構を合成したときの全体的なプライバシー損失を計算するための分析手法「Edgeworth Accountant」を提案する。
  • $f$-差分プライバシーの枠組みと、プライバシー損失の対数尤度比(PLLRs)を用いて、閉形式の非漸近的な $(epsilon, delta)$ のプライバシー保証を導出する。
  • これらの PLLR の和の分布を推定するために Edgeworth 展開を適用することで、タイトな上界・下界を含む、精度の高いプライバシー会計を実現する。
  • 著者らは、本手法が、複雑な分布を単純化することで、実質的に任意のノイズ付加型機構に対して動作し得ることを示し、先行するいくつかの合成手法で見られる計算量の爆発を回避することを目指している。
  • 論文は、深層学習におけるプライベートなモデルの学習や、(通常は多数の DP 構成要素が合成される)フェデレーテッド分析において本手法が価値を持ち得ることを強調している。

Abstract

プライバシーを保護するデータ解析では、多くの手続きやアルゴリズムが複数のプライベートな構成要素の合成として構造化されています。そのため、合成において全体のプライバシー損失を効率的に計算するにはどうすればよいかという重要な問題があります。本論文では、プライベートなアルゴリズムに対する差分プライバシー保証を合成するための解析的アプローチとして、Edgeworth Accountant を提案します。f-差分プライバシーの枠組みを活用することで、Edgeworth Accountant は合成下でのプライバシー損失を正確に追跡し、プライバシー損失の対数尤度比(PLLR)を通じて、プライバシー保証の閉形式の表現を可能にします。名前が示す通り、この手法は Edgeworth 展開を適用して、PLLR の和の確率分布を推定し定義します。さらに、複雑な分布をより単純な分布へと簡略化する技術を用いることで、Edgeworth Accountant が任意のノイズ付加メカニズムに適用可能であることを示します。その主な利点は、漸近的でなく、計算コストを大きく増加させない (, )-差分プライバシーの境界を与える点にあります。この特徴により、合成の下でメカニズム数に応じて実行時間が増加してしまう先行手法とは一線を画しています。最後に、Edgeworth Accountant が (, )-差分プライバシー保証に対して、特に深層学習におけるプライベートなモデル訓練やフェデレーテッド解析に最適化された形で、正確な推定と、タイトな上限・下限をどのように提供できるかを示します。