SubFLOT：最適輸送による効率的かつパーソナライズされた連合学習のためのサブモデル抽出

要旨: 分散学習（FL）は、データのプライバシーを保持しながら協調的なモデル学習を可能にしますが、その実運用はシステムおよび統計的な不均一性によって妨げられています。分散ネットワークのプルーニングはこれらの問題を緩和する道筋を提供しますが、既存の方法には重大なジレンマがあります。サーバ側のプルーニングはパーソナライズ性を欠き、 一方でクライアント側のプルーニングはリソース制約のあるデバイスでは計算的に過大であるのです。さらに、プルーニング処理そのものが、不均一なサブモデル間で大きなパラメトリックな発散を引き起こし、学習を不安定にし、グローバル収束を妨げます。これらの課題に対処するため、我々はサーバ側パーソナライズ分散プルーニングの新しい枠組みであるSubFLOTを提案します。SubFLOTは、過去のクライアントモデルを局所データ分布の代理として扱うOptimal Transport強化プルーニング（OTP）モジュールを導入し、生データにアクセスすることなくカスタマイズされたサブモデルを生成するために、プルーニング課題をワッサースタイン距離の最小化問題として定式化します。同時に、パラメトリックな発散に対抗するため、スケーリングに基づく適応正則化（SAR）モジュールを用いて、サブモデルのグローバルモデルからの逸脱に対してペナルティを適応的に課し、そのペナルティの強度はクライアントのプルーニング率によってスケーリングします。包括的な実験により、SubFLOTが一貫して、かつ大きく最先端手法を上回ることが示され、その可能性として、リソース制約のあるエッジデバイス上で効率的かつパーソナライズされたモデルを展開できることが裏付けられます。