FB-NLL：特徴ベース手法でパーソナライズド・フェデレーテッド・ラーニングのノイジーラベルに対処する

Abstract

パーソナライズされたフェデレーテッドラーニング（PFL）は、不均一なデータ分布にまたがって単一のグローバルモデルを学習するのではなく、複数のタスク固有モデルを学習することを目的とします。既存のPFL手法は一般に、モデル更新の軌跡のような反復的な最適化に依存して、同じタスクを一緒に遂行する必要があるユーザをクラスタリングします。しかし、学習ダイナミクスに基づくこれらの手法は、本質的に低品質データやノイズの多いラベルに対して脆弱です。破損した更新がクラスタリングの判断を歪め、パーソナライゼーション性能が低下してしまうためです。そこで本研究では、反復的な学習ダイナミクスからユーザクラスタリングを切り離す、特徴量中心のフレームワークであるFB-NLLを提案します。局所特徴空間に内在する本質的な異質性を活用することで、FB-NLLはユーザを、その特徴表現の共分散の分光構造によって特徴づけ、サブスペースの類似性を用いてタスク整合的なユーザのグルーピングを特定します。この幾何学に配慮したクラスタリングはラベル非依存であり、学習の前にワンショットで実行されます。反復的なベースラインと比べて、通信オーバーヘッドおよび計算コストを大幅に削減します。 さらに、クラスタ内のノイズの多いラベルに対処するため、特徴の一貫性に基づく検出および補正戦略を導入します。学習された特徴空間における方向の整合性を活用し、クラス固有の特徴サブスペースに基づいてラベルを割り当てることで、本手法は確率的なノイズ遷移行列の推定を必要とせずに、破損した教師信号を抑え込みます。また、FB-NLLはモデルに依存せず、既存のノイズ耐性学習技術とシームレスに統合できます。多様なデータセットおよびノイズ条件にわたる大規模な実験により、本フレームワークが平均精度と性能の安定性の両面で、最先端のベースラインを一貫して上回ることを示します。