Few-for-Manyによるパーソナライズド・フェデレーテッドラーニング

本文: arXiv:2603.11992v1 アナウンス種別: new 要約: 個別化フェデレーテッドラーニング（PFL）は、データ分布が高度に異質なクライアントのためにカスタマイズされたモデルを学習しつつ、データのプライバシーを保持することを目的とします。従来のアプローチは、クラスタリングやモデル補間のようなヒューリスティクスに頼ることが多く、異質なクライアントの目的をバランス良く調整するための原理的な機構を欠いています。異なるデータ分布を持つ M 個のクライアントを提供することは本質的にマルチオブジェクティブ最適化問題であり、最適なパーソナライズを達成するには理想的には Pareto フロント上の M 個の異なるモデルが必要です。しかし、M 個の別々のモデルを維持することは、数百または数千のクライアントを抱えるフェデレーテッド設定で重大なスケーラビリティの課題を生じさせます。この課題に対処するため、PFL を少数から多数へ対応する最適化問題として再定式化し、すべての M クライアントを共同でサービスするために K 個の共有サーバーモデル（K << M）だけを維持します。この枠組みがほぼ最適なパーソナライズを達成することを証明します。近似誤差は K が増加するにつれて小さくなり、データが増えるにつれて各クライアントのモデルがそのクライアントの最適解へ収束します。この再定式化をもとに、K サーバーモデルを効率的な勾配ベースの更新によって共同最適化する実用的なアルゴリズムとして FedFew を提案します。手動のクライアント分割を必要とするクラスタリングベースのアプローチや、慎重なハイパーパラメータ調整を要する補間ベースの手法とは異なり、FedFew は最適化プロセスを通じて自動的に最適なモデルの多様性を発見します。視覚、NLP、および実世界の医用画像データセットにわたる実験は、3 モデルだけの FedFew が他の最先端手法を一貫して上回ることを示しています。コードは https://github.com/pgg3/FedFew で入手可能です。