FedRG: ノイズを含むクライアントに対する連邦学習の表現幾何を解き放つ

arXiv cs.LG / 2026/3/23

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • FedRG はノイズを含むクライアントに対する堅牢な連邦学習のための表現幾何ベースの手法を提案し、スカラー損失だけでは対処できないラベルノイズにも対応します。
  • このアプローチは自己教師付き学習によりラベル非依存の球状表現を作成し、以前に同定されたクリーンなサンプルを用いて意味的クラスタを捉える球面フォン・ミーゼス=フィッシャー混合モデルを適合させます。
  • セマンティック・ラベルのソフトマッピングを統合して、ラベルなし空間と注釈付きラベル空間の分布発散を計算し、頑健なノイズサンプルの識別と反復的なモデル更新を可能にします。
  • ノイズ付きラベルに対して個別化されたノイズ吸収マトリクスを適用して最適化を強化し、異種データとノイズを含むクライアントシナリオ全体で最先端のFL手法を上回る顕著な改善を示す広範な実験結果が得られています。

要約: 連邦学習(FL)は、分散シナリオにおける不可避的なノイズ付きアノテーションの存在により、性能劣化に苦しむ。既存のアプローチは、損失値を活用してデータセットからノイズサンプルを識別し、ラベル修正を行う点で進歩してきた。しかし、スカラー損失に依存するノイズサンプルの識別は、異種シナリオ下のFLにおいて信頼性に欠ける。本研究では、このパラダイムを表現の観点から再考し、\method~(\textbf{Fed}erated under \textbf{R}epresentation \textbf{G}emometry) を提案する。これは \textbf{the principle of ``representation geometry priority''} に従い、ノイズラベルを識別する。まず、\method~は自己教師あり学習を用いてラベルに依存しない球面表現を作成する。次に、以前に識別されたクリーンなサンプルを用いてこの幾何学に対して球面 von Mises-Fisher(vMF)混合モデルを反復的に適合させ、意味的クラスタを捉える。この幾何学的証拠は、意味ラベルのソフトマッピング機構と統合され、ラベルなしの特徴空間と注釈付きラベル条件付き特徴空間の間の分布の乖離を導出し、ノイズサンプルを頑丈に識別し、新たに分離されたクリーンデータセットでvMF混合モデルを更新する。最後に、ノイズ付きラベルに対して追加の個別化されたノイズ吸収マトリクスを適用して堅牢な最適化を達成する。広範な実験結果は、データのヘテロジニティを伴うFLにおいて、さまざまなノイズのあるクライアントのシナリオの下で \method が最先端の手法を大幅に上回ることを示している。

返却形式: {"translated": "翻訳されたHTML"}