FiBER：フィルターを意識したイノベーション・バイアス補正を備える差分プライバシー最適化手法

要旨: 差分プライバシー（DP）学習は、勾配にノイズを加えることで個々の例を保護しますが、注入されたノイズは適応型オプティマイザと非自明に相互作用します。最近のDP手法では、分散を減らすために時系列方向にプライバタイズされた勾配を一時的にフィルタリングしています。しかし、フィルタリングによってAdamWの2階モーメント蓄積器が観測するDPノイズの統計も変化します。その結果、例えば sigma_w の二乗を差し引く、といったフィルタされていないDPノイズに対して導出されたバイアス補正は、フィルタリングが存在すると誤って校正される可能性があります。
本研究では、時系列的にフィルタされたプライバタイズ勾配のためのDPオプティマイザであるFiBeRを提案します。FiBeRは、（i）残差ストリームをフィルタリングし、それを統合してフィルタされた勾配推定値を形成することで、イノベーション空間におけるデノイジングを行い、（ii）2点観測の幾何学を、イノベーションゲインから切り離して独立に調整できるようにし、（iii）フィルタを意識した2階モーメント校正を導入して、減衰したDPノイズ寄与 A(omega) sigma_w squared を差し引きます。ここでA(omega)は、イノベーションフィルタに対して閉形式で導出されており、一般の安定な線形フィルタに対して計算できます。
視覚と言語のベンチマークにおいて、FiBeRはDPオプティマイザの性能を一貫して大幅に改善し、複数のタスクにおいて同等のプライバシー制約の下で最先端の結果を上回ることを示します。