ノイズによるプロトタイプ劣化を抑制しながら実現する、プライバシー保護型パーソナライズド連合学習ファインチューニング

概要: Prototype-based Personalized Federated Learning（ProtoPFL）は、コンパクトなクラス・プロトタイプを通信することで効率的なマルチドメイン適応を可能にしますが、それらを直接共有するとプライバシー上のリスクが生じます。一般的な防御として、プロトタイプ計算の前に各例ごとに_2クリッピングを行って感度を抑え、その後、等方的ガウスノイズを加えて局所差分プライバシー（LDP）を保証する方法があります。しかし、等方的ガウス・プロトタイプ摂動（IGPP）は通常、判別的な次元を過剰に摂動してしまい、クリッピング閾値と表現の忠実性のバランスを取るのが困難です。本論文では、既存のProtoPFLにシームレスに統合できるクライアントサイドのプライバシー・プラグインVPDRを提案します。次元ごとのクラス分散が判別可能性を反映するという観察に動機づけられ、判別的サブスペースにはより少ないノイズを割り当てる分散適応型プロトタイプ摂動（VPP）を導入します。これにより、意味的な分離可能性を保ちながらプライバシーを確実にします。さらに、蒸留ガイド付きクリッピング正則化（DCR）を発展させ、事前に定義されたクリッピング閾値の近傍に特徴ノルムが適応的に集中するようにしつつ、予測の整合性を維持できるようにします。理論解析により、提案するグループワイズ機構は、同一のプライバシー制約の下で等方的ベースラインより弱くないプライバシー保証を与えることを示します。マルチドメインのベンチマークに対する広範な実験では、VPDRが、パーソナライズされたフェデレーテッド・ファインチューニングにおいてIGPPを上回り、現実的な攻撃に対する堅牢性を損なうことなく、優れたプライバシーティリティのトレードオフを達成することが示されます。