HEART-PFL：階層的な指向（方向）アライメントと敵対的知識転送による、不均一性下での安定したパーソナライズド・フェデレーテッド・ラーニング

概要: パーソナライズされたフェデレーテッドラーニング（PFL）は、不均一な分布下でクライアント固有の効果的なモデルを提供することを目的としていますが、既存手法は浅いプロトタイプ整合と脆弱なサーバ側蒸留に悩まされています。そこで本研究では、二者間の枠組みであるHEART-PFLを提案します。これにより、(i) 初期段階ではコサイン類似度を用いた深さを考慮する階層的方向整合（HDA）を行い、深い段階ではクライアントの特異性を維持するためにMSEによるマッチングを行い、(ii) クリーンデータと敵対的プロキシデータの両方に対して対称KL蒸留を用いたAdversarial Knowledge Transfer（AKT）により、グローバル更新を安定化します。訓練可能パラメータがわずか1.46Mの軽量アダプタを用いることで、HEART-PFLはDirichletによる非IID分割のもと、CIFAR-100、Flowers-102、Caltech-101において最先端のパーソナライズ精度（それぞれ63.42%、84.23%、95.67%）を達成し、さらに領域外のプロキシデータに対しても頑健です。アブレーション研究により、HDAとAKTが整合、頑健性、および最適化安定性において補完的な向上をもたらすことがさらに確認されており、2つの構成要素が相互に有効なパーソナライズを強化する仕組みに関する洞察が得られます。総合すると、これらの結果はHEART-PFLがパーソナライズとグローバル安定性を同時に高めることを示しており、PFLとして強力かつスケーラブルな解決策となる可能性を強調しています（コードは https://github.com/danny0628/HEART-PFL で公開）。