フェデレーテッドラーニングにおけるエネルギー配慮型グラディエントプルーニングのための理論的枠組み

arXiv cs.LG / 2026/3/25

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、通信およびエネルギーの制約というフェデレーテッドラーニングの課題に対して、従来のTop-Kマグニチュードプルーニングはペイロードを削減できる一方で、実際にはエネルギーを考慮しない点を指摘している。
プルーニングを、逆伝播後に生じるメモリ関連コストと計算関連コストのハードウェアレベルの差を組み込んだ、エネルギー制約付き射影問題として再定式化する。
提案手法であるCost-Weighted Magnitude Pruning（CWMP）は、更新の大きさだけでなく、その更新に伴う物理的コストとのバランスによって更新を選択する。
著者らは、CWMPが制約付き射影に対する最適な貪欲解であることを示し、さらにそのグローバルなエネルギー効率について確率的な解析を行っている。
非IIDのCIFAR-10に対する実験により、CWMPがTop-Kベースラインよりも優れた性能–エネルギーのトレードオフ（パレートフロンティア）を達成することを示す。

Abstract

フェデレーテッドラーニング（FL）は、分散したエッジデバイスの通信およびエネルギー上の制約によって制約されます。Top-Kの大きさによる剪定（magnitude pruning）を用いた勾配の疎化は通信ペイロードを効果的に削減しますが、本質的にエネルギーに無関心です。これは、すべてのパラメータ更新が、下流の伝送およびメモリ更新のコストとして同一のコストを負うと仮定し、ハードウェアの現実を無視しています。私たちは剪定プロセスを、逆伝播後フェーズにおける「メモリ集約型」と「計算効率型」の操作のあいだのハードウェアレベルの不均一性を考慮した、エネルギー制約付き射影問題として形式化します。私たちは、物理的なコストに対する大きさに基づいてパラメータ更新を優先する選択規則であるCost-Weighted Magnitude Pruning（CWMP）を提案します。CWMPが、この制約付き射影に対する最適な貪欲解であることを示し、さらにそのグローバルなエネルギー効率について確率的な分析を行います。非IIDのCIFAR-10ベンチマークに対する数値結果により、CWMPはTop-Kベースラインと比較して、性能とエネルギーのパレートフロンティアを一貫してより優れたものとして確立することを示します。