連合学習におけるパーソナライズされた緩和初期化の再考：整合性と汎化

Abstract

フェデレーテッドラーニング（FL）は、大規模なローカルクライアントを協調させて、不均一なデータセット上で段階的なローカルトレーニングプロセスを通じてグローバルモデルを学習することを調整する、分散型のパラダイムである。従来の研究では、FLが「クライアント・ドリフト」の問題に悩まされることが暗黙的に検討されてきた。これは、ローカルクライアント間で最適解が一致しないことが原因である。だが、これまでのところ、このローカルな不一致が与える影響を説明するための確かな理論分析がまだ欠けている。本論文では、「クライアント・ドリフト」の負の影響を軽減し、FLにおけるその本質を探るために、まず効率的なFLアルゴリズムであるFedInitを提案する。これにより、各ローカルトレーニング段階の開始時に、パーソナライズされた緩和初期化状態を用いることが可能となる。具体的には、FedInitは、最新のローカル状態の逆方向へと移動することで、現在のグローバル状態から離れるようにしてローカル状態を初期化する。さらに、不一致がFLの性能をどのように破壊するのかをより深く理解するために、超過リスクの解析を導入し、FLにおけるテスト誤差を調べるために発散項を研究する。これらの研究の結果、最適化誤差はこのローカルな不一致に対して鈍感である一方で、それが主に一般化誤差の上界に影響を与えることが示された。その効率性を検証するために、大規模な実験を実施する。提案するFedInit手法は、追加の学習や通信コストなしで、いくつかの先進的なベンチマークと同等の結果を達成できる。また、段階的なパーソナライズされた緩和初期化は、FLパラダイムにおいてより高い一般化性能を得るために、いくつかの現在の先進的アルゴリズムにも組み込むことができる。