LoDAdaC: 適応的勾配と圧縮通信を備えた統一的なローカルトレーニングベースの分散学習フレームワーク

要旨: 分散型の分散学習では、迅速な収束と低い通信コストの達成が、スケーラビリティと高効率のために不可欠です。Adam のような適応勾配法は、深層学習や中央集権型の分散設定において強力な実践性能を示してきました。しかし、連合学習のように複数のローカル学習ステップを含む分散環境における、それらの収束特性は、これまでほとんど未解明のままです。この制約に対処するために、本稿では LoDAdaC を提案します。これは、Adam 型の更新と圧縮通信（CC）を備えた統一的な複数ローカル学習（MLT）分散フレームワークです。LoDAdaC は、AMSGrad、Adam、AdaGrad を含む広範なクラスのオプティマイザを、そのローカル適応更新において受け入れます。また、低ビット量子化や疎化のような標準的（場合によってはバイアスを含む）コンプレッサと互換です。MLT と CC により、LoDAdaC は通信コストの乗法的な削減を達成でき、さらに適応更新の技術により高速な収束が可能になります。複合的な利点について、計算量解析を通じて厳密に証明します。加えて、画像分類および GPT スタイルの言語モデル学習に関する実験により、理論的知見が検証され、LoDAdaC が収束速度と通信効率の面で既存の分散アルゴリズムを大幅に上回ることが示されます。