FedSQ：固定ゲーティングによる最適化された重み平均化
arXiv cs.LG / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- FedSQは、フェデレーテッド・ファインチューニング中に生じるクライアントデータの異質性（非i.i.d.分割）によって、素朴な重み平均が不安定になる問題に対処するためのフェデレーテッドラーニング手法である。
- この方法は、ReLUのような（区分的線形の）ゲーティングのレジームが、モデル構造（「構造的知識」）と残りのパラメータ（「量的知識」）を別々に扱うことで学習を安定化できるという観察に基づいている。
- FedSQはDualCopyの構成を用い、事前学習済みバックボーンの固定コピーが固定の二値ゲーティングマスクを誘導し、一方で「量的」コピーのみをローカルに学習し、フェデレーテッドラウンドを通じて集約する。
- ゲーティングマスクを固定することで、FedSQは学習をレジーム内のアフィンな改良に制限し、異質なクライアント分割下での集約の安定性を高める。
- 2つのCNNバックボーンを用いた、i.i.d.およびDirichletデータ分割に関する実験では、転移初期化設定における精度を維持しつつ、堅牢性の向上と、最良の検証性能に到達するまでのラウンド数が潜在的に少なくなることが示された。
