FMCL：基盤モデル表現を用いた異種フェデレーテッドラーニングのためのクラス対応型クライアントクラスタリング

Abstract

フェデレーテッドラーニング（FL）は、生データを共有せずに分散したクライアント間で共同的にモデルを学習できる一方、統計的な異質性の下では性能が低下します。クラスター型フェデレーテッドラーニングは、類似したクライアントをグループ化し、クラスタごとに別々のモデルを学習することで、この課題に取り組みます。しかし、既存のクラスタリング手法の多くは、生データ統計、モデルパラメータ、あるいはヒューリスティックな類似度指標に依存しており、異なるドメインにまたがるクラスレベルの意味構造を適切に捉えられないことが多いほか、反復的な協調（イテレーティブなコーディネーション）を必要とする場合が頻繁にあります。本研究では、基盤モデルの表現を活用してセマンティックなクライアント・シグネチャを構築する、ワンショットでクラスに応じたクライアントクラスタリング枠組みであるFMCLを提案します。凍結した基盤モデルを用いてFMCLは、各クライアントごとにクラスレベルの埋め込みプロトタイプを計算し、そのクラスに応じた表現間のコサイン距離によって類似度を測定します。クラスタリングは学習の前に一度だけ実行されるため、フェデレーテッド最適化中の追加の通信は発生せず、下流のモデルアーキテクチャにも非依存です。非同一なデータ分割（non-identically distributed data partitioning）下で、FMCLは既存のクラスタリング手法と比較してフェデレーテッド性能を改善し、より安定したクラスタリング挙動をもたらすことを、異質なベンチマークにわたる大規模な実験によって示します。