ビザンチン耐性を備えた最適化：$(L_0, L_1)$-滑らかさの下で
arXiv cs.LG / 2026/3/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- (L0, L1)-滑らかさの下で、モーメントを用いた正規化された確率的勾配降下法である Byz-NSGDM を提案します。これはビザンチン耐性を備えた分散最適化のための手法です。
- 本手法は、Nearest Neighbor Mixing によって強化されたビザンチン耐性アグリゲーションとモーメント正規化を組み合わせ、敵対的ノードおよび状態依存の勾配リップシッツ性に対応します。
- 論文は、収束率を O(K^{-1/4})、およびビザンチンバイアスの下限はロバスト性係数と勾配の異質性に比例して定義することを示します。
- 異種分布を持つ MNIST データ、合成データ上の (L0,L1)-滑らかさ最適化、そして小型の GPT モデルを用いた文字レベルの言語モデリングに対する実証結果は、さまざまな Byzantine 攻撃に対する頑健性を示し、アブレーション研究はモーメントと学習率の選択における安定性を確認します。
