Gaussian Generative Modelingを用いたパーソナライズド連合学習

連合学習は、分散したクライアントデータ上で協調的にモデルを訓練しつつ、プライバシーを保護するというパラダイムとして浮上しています。これにおいて、パーソナライズド連合学習はデータの異質性という課題に取り組み、各クライアントに専用のモデルを装備します。一般的な戦略は、モデルを共有特徴抽出器とパーソナライズされた分類ヘッドに分解し、後者が表現学習を積極的に導きます。しかし、従来の研究は分類ヘッド主導のパーソナライズに焦点を当て、表現分布の個別特徴の潜在性を見逃してきました。この洞察に基づき、Gaussian生成モデリングを基盤とするpFedGMを提案します。アプローチは、重み付きサンプリングによってクライアントの異質性をモデル化するGaussian生成器の訓練から始まります。グローバルな協調とパーソナライズのバランスは、クラス間距離をクライアント間で最大化する共有目的と、クラス内距離をそれらの内部で最小化するローカル目的のデュアル目的を用いることで達成されます。これを実現するために、従来のGaussian分類器を、グローバル最適化用のナビゲータと分布統計を捉える統計抽出器へと分解します。カルマンゲインに触発された着想を得て、アルゴリズムはグローバルおよびローカルレベルでデュアルスケールの融合フレームワークを用い、各クライアントにパーソナライズされた分類ヘッドを装備します。このフレームワークでは、グローバル表現分布を事前分布(prior)として、クライアント固有データを尤度(likelihood)としてモデル化し、クラス確率推定のためのベイズ推論を可能にします。評価は、クラス数の不均一性、環境ノイズ、および複数のベンチマークデータセットと設定を含む広範なシナリオを対象としています。pFedGMは最先端手法と比較して、優れたまたは競争力のある性能を達成します。