GAPSL: 異種データ上の勾配整列型並列スプリット学習

要約: ニューロンネットワークの増大する複雑さは、資源制約下のクライアントデバイス上でのフェデレーテッドラーニング（FL）の民主化に重大な課題をもたらします。並列分割学習（PSL）は、モデル分割を通じてサーバーへ大幅な計算負荷をオフロードし、クライアント側の計算負荷を縮小し、クライアント側のモデル集約を排除することで、通信およびデプロイコストを削減する有望な解決策として浮上しています。PSLは集約を行わないため、クライアント間の勾配方向の一貫性の欠如に起因する深刻な学習発散を招きます。この課題に対処するため、リーダー勾配識別（LGI）と勾配方向整合（GDA）という2つの重要な構成要素から成る、勾配整合 PSL フレームワーク GAPSL を提案します。LGI は、全体の収束傾向を捉えるリーダー勾配を構築するために、方向性が一貫したクライアント勾配の集合を動的に選択します。GDA は、勾配方向を考慮した正則化を用いて各クライアントの勾配をリーダー勾配と整合させることで、デバイス間の勾配方向の不整合を緩和し、モデルの収束を高めます。私たちは GAPSL をプロトタイプの計算テストベッド上で評価します。広範な実験により、GAPSL はトレーニング精度とレイテンシの点で最先端のベンチマークを一貫して上回ることを示しています。