RESIST：合意に基づく勾配降下を用いたレジリエントな分散学習

抄録: 実証的リスク最小化（ERM）は、現代の機械学習（ML）の基盤であり、証明可能なアルゴリズム的および統計的学習率を備えた効率的な解を保証する最適化理論の進展によって支えられている。プライバシー、メモリ、計算、通信の制約により、ネットワーク接続された複数のデバイスにまたがってデータの収集、処理、保存が必要となる。多くのアプリケーションでは、ネットワークが分散型の状況で動作し、中央サーバを前提にできないため、効率的で耐性のある分散型MLアルゴリズムが必要となる。しかし、分散学習は攻撃対象領域の増大といった重大な課題に直面する。本論文では、訓練中に敵対者が通信の脆弱性を悪用して悪意のある更新を注入し、モデルが意図したERM解から逸脱する可能性がある、中間者攻撃（MITM）に焦点を当てる。この課題に対処するために、我々はRESIST（Resilient dEcentralized learning using conSensus gradIent deScenT）を提案する。これは、送信された情報が受信前に任意に改変され得る、敵対的に侵害された通信リンクに対して頑健であるように設計された最適化アルゴリズムである。既存の敵対的に頑健な分散学習手法とは異なり、それらはしばしば（i）解の近傍への収束しか保証しない、（ii）強凸問題に対する線形収束の保証が欠ける、または（iii）サンプルサイズが増大しても統計的整合性を確保できない、といういずれかの制限を持つ。RESISTは、これら3つの制限をすべて克服する。多段階のコンセンサス勾配降下の枠組みと、MITM攻撃の影響を緩和するための頑健な統計ベースのスクリーニング手法を用いることで、強凸、Polyak-Lojasiewicz（PL）、および非凸のERM問題に対するアルゴリズム的かつ統計的収束を達成する。実験結果は、RESISTが攻撃戦略、スクリーニング手法、損失関数のいずれに対しても頑健性とスケーラビリティを示すことを明らかにする。