勾配のvonノイマンエントロピーに基づくデータなしフェデレーテッドラーニングの貢献度推定

arXiv cs.AI / 2026/4/27

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、最終層の更新信号に対する行列（スペクトル）vonノイマンエントロピーを用いて、フェデレーテッドラーニングにおける各クライアントの貢献度をデータなしで推定するプライバシー配慮型手法を提案している。
実装可能な2つの方式として、スペクトルエントロピーを集約の重みとして使うSpectralFedと、ランク適応型カルマンフィルタでクラスごとのアラインメントにエントロピーを組み合わせてラウンドごとの安定性を高めるSpectralFuseを提示している。
CIFAR-10/100および自然な分割のFEMNISTとFedISICで、非IID条件を多様に変えた実験を行い、バリデーションデータやクライアントのメタデータを使わなくても、エントロピー由来スコアがスタンドアロンのクライアント精度と高い相関を示すことを報告している。
既存のデータなし貢献度推定ベースラインと比較し、スペクトルエントロピーがクライアント貢献を示す有用な指標になり得ることを裏付けている。
全体として、この手法はサーバー側のバリデーションデータへの依存や、操作され得る自己申告情報への依存を取り除くことを目的としている。

概要: フェデレーテッドラーニングにおけるクライアント貢献度の推定は、クライアントの重要度を特定し、また公平な報酬を提供するために必要です。現在の手法の多くは、サーバ側の検証データや、自己申告されたクライアント情報に依存しており、プライバシーを損なう可能性がある、あるいは操作に対して脆弱です。そこで我々は、最終層の更新に基づく行列 von Neumann（スペクトル）エントロピーによる、データ不要の信号を導入します。これは、貢献された情報の多様性を測定します。実装可能な2つの実用的スキームを提案します: (i) SpectralFed は、正規化エントロピーを集約の重みとして用い、(ii) SpectralFuse は、ランク適応型カルマンフィルタを介してクラス固有のアラインメントとエントロピーを融合し、ラウンドごとの安定性を実現します。CIFAR-10/100 および、自然に分割された FEMNIST と FedISIC のベンチマークにおいて、エントロピーに基づくスコアは、多様な非IID（非独立同分布）条件のもとでも、単独のクライアント精度との一貫して高い相関を示します—検証データやクライアントのメタデータなしでです。我々は、データ不要の貢献度推定のベースラインと比較し、スペクトルエントロピーがクライアント貢献度を示す有用な指標となり得ることを示します。