確率的エッジ・ドロップアウトによるビザンチン耐性型勾配トラッキングの収束

要旨: 本稿では、任意の敵対的メッセージを送信しうるビザンチン代理人を含むネットワーク上での分散最適化を研究する。提案手法は
ohline{Gradient Tracking with Probabilistic Edge Dropout}（GT-PD）であり、敵対的通信下でも勾配追跡（gradient tracking）の収束特性を保持する確率的勾配追跡法である。GT-PD は、補完的な2つの防御層を組み合わせる。受信エージェントの周りの半径 au の球内に各受信メッセージをクリップする普遍的な自己中心型射影（self-centered projection）と、意思決定チャネルと追跡チャネルの双方における双対指標の信頼スコアにより駆動される、完全分散型の確率的ドロップアウト規則である。この設計は、分散環境における頑健な集約（robust aggregation）では失われがちな、双重確率（doubly stochastic）な混合構造を保持しつつ、敵対的な摂動を抑える。ビザンチン隔離が完全である場合（p_b=0）、GT-PD は確率的勾配分散のみで決まる近傍へ線形に収束する。部分的隔離（p_b>0）では、
ohline{Gradient Tracking with Probabilistic Edge Dropout and Leaky Integration}（GT-PD-L）を導入し、持続的な摂動によって生じる追跡誤差の蓄積を制御するためにリーキー積分器（leaky integrator）を用いる。その結果、確率的分散とクリッピング対リーク比（clipping-to-leak ratio）により決まる有界近傍への線形収束を達成する。さらに、p_h=1 の2層ドロップアウトの下では、ビザンチン代理人を隔離しても、善良なコンセンサス（honest consensus）ダイナミクスに追加の分散は生じないことを示す。Sign Flip、ALIE、Inner Product Manipulation 攻撃に対する MNIST の実験では、GT-PD-L がステルス攻撃（stealth attacks）において、座標ごとのトリム平均（coordinate-wise trimmed mean）に比べ最大 4.3 パーセンテージポイント上回ることが分かる。