有限混合モデルのためのビザンチン耐性分散学習

Abstract

従来の統計手法は、現代の分散データ保存パラダイムで動作するように更新する必要があります。一般的なアプローチは、分割統治（split-and-conquer）フレームワークであり、ローカルの計算機上でモデルを学習し、それらのパラメータ推定値を平均化することを含みます。しかし、有限混合モデルを学習する重要な問題にはこれは機能しません。各ローカル計算機における部分母集団のインデックスが任意に置換され得るためです（「ラベルスイッチング問題」）。Zhang と Chen（2022）は、この問題に対処するために Mixture Reduction（MR）を提案しましたが、MR は依然として、少数のローカル計算機が恣意的に誤った情報を送信し得る「バイザンチン故障」に対して脆弱です。本論文では、MR のバイザンチン耐性のある適応であり、計算効率と統計的妥当性の両方を備えた Distance Filtered Mixture Reduction（DFMR）を導入します。DFMR は、ローカル推定値の密度を活用して頑健なフィルタリング機構を構築します。ローカル推定値間のペアワイズ L2 距離を解析することで、DFMR は大きく破損したローカル推定値を特定して除去し、未破損の推定値の大多数を保持します。DFMR について理論的な裏付けを提示し、標準的な仮定のもとで、その最適な収束率と、グローバル最大尤度推定値への漸近的同値性を証明します。シミュレーションデータおよび現実世界のデータに対する数値実験により、バイザンチン故障の存在下でも DFMR が頑健かつ正確な集約を達成する有効性が検証されます。