ビザンチンに頑健で通信効率の高い分散学習：圧縮および循環勾配符号化

要旨: 本論文では、通信制約のもとでのバイザンチン攻撃に対する分散学習（DT）の問題を研究する。先行研究では、バイザンチン攻撃への耐性を高めるために、サーバ側でさまざまな頑健な集約規則を開発してきた。しかし既存手法には重大な限界があり、異なるデバイスが保持するデータの非一様性（ヘテロジニアス）により、異なるデバイスから送られるローカル勾配が大きく異なる場合、解の誤差が減少しない。 この限界を克服するために、新しいDT手法である、巡回勾配符号化に基づくDT（LAD）を提案する。LADでは、学習開始前にサーバが学習データ全体をデバイスへ割り当てる。各反復において、巡回勾配符号化を用いて計算タスクをデバイスへ冗長に割り当てる。次に、正直な各デバイスは、固定された数のデータ部分集合に対してローカル勾配を計算し、それを符号化したうえでサーバへ送信する。サーバは、正直なデバイスからの符号化ベクトルと、バイザンチンデバイスからの誤った可能性のあるメッセージを、頑健な集約規則によって集約する。デバイス間での計算の冗長性を活用することで、LADの収束性能が解析的に特徴づけられ、バイザンチン攻撃への耐性の向上と、解の誤差の大幅な低減が示される。さらに、LADを通信効率型の変種である、圧縮および巡回勾配符号化に基づくDT（Com-LAD）へ拡張し、制約のある状況において通信オーバーヘッドをさらに削減する。数値結果により、提案手法がバイザンチン耐性と通信効率の両方を高める有効性が検証される。