非IIDデータにおける連合学習でのマルチタスクオートエンコーダによるサンプル選択

要旨: フェデレーテッドラーニングは、中央サーバの監督のもとで複数のデバイスが協調してモデルを学習する機械学習パラダイムであり、データプライバシーを確保します。しかし、その性能は冗長なサンプル、悪意のあるサンプル、または異常なサンプルによってしばしば低下し、モデルの劣化と非効率を招きます。これらの問題を克服するために、本論文では損失と特徴の分析を通じてサンプルの寄与を推定するマルチタスクオートエンコーダを用いた、画像分類向けの新しいサンプル選択手法を提案します。提案手法では、中央サーバが管理する教師なし外れ値検出として、一クラスサポートベクターマシン（OCSVM）、アイソレーションフォレスト（IF）、および適応損失閾値（AT）方式を組み込み、クライアント側でノイズのあるサンプルをフィルタリングします。また、特徴に基づくサンプル選択を強化するために、中央サーバによって制御されるマルチクラス深層サポートベクタデータ記述（SVDD）の損失も提案します。CIFAR10およびMNISTのデータセットで、クライアント数の異なる条件、非IID分布、ならびに最大40%までのノイズ条件に対して手法を検証します。その結果、損失ベースのサンプル選択により精度が大幅に改善し、OCSVMではCIFAR10で最大7.02%、ATではMNISTで最大1.83%の向上が得られました。さらに、フェデレーテッドSVDD損失は、特徴ベースのサンプル選択をより改善し、OCSVMではCIFAR10で最大0.99%の精度向上をもたらしました。これらの結果は、さまざまなクライアント数およびノイズ条件において、モデル精度を向上させる本手法の有効性を示しています。