Abstract
フェデレーテッドラーニングは、通信・メモリ・計算のいずれもが乏しい大規模モデルの領域でますます運用されるようになっている。一般に、非IIDのクライアントデータはドリフトを誘発し、局所学習の安定性と性能を劣化させる。SCAFFOLDのような既存の対策は、この課題に対処するために異質性補正（heterogeneity-correction）の仕組みを導入するが、通信およびメモリの大きな追加オーバーヘッドを伴う。本論文では、フェデレーテッドラーニングのための部分空間最適化手法（SSF）を提案する。SSFは、射影された量のみを用いて低次元の部分空間上で異質性補正付きの最適化を行い、さらに、活性な部分空間が変化する際に残差成分を保持する、バックフィル（backfill）方式の更新により、全次元の制御情報を保持する。通常の滑らかさおよび有界分散の仮定の下で、SSFは非漸近的な収束率を\widetilde{\mathcal{O}}(1/T+1/\sqrt{NKT}) のオーダーで達成する。実験では、異質なデータにおいて良好な精度—効率のトレードオフが示される。
