CA-HFP: 曲率を考慮した異質フェデレーテッドプルーニングとモデル再構成
arXiv cs.AI / 2026/3/16
💬 オピニオンDeveloper Stack & InfrastructureModels & Research
要点
- CA-HFP は、連合学習における各クライアントが、曲率情報に基づく重要度スコアに導かれたデバイス固有の構造的プルーニングを実行できるようにし、集合化互換性を維持しつつ異質なプルーニングを実現する。
- 各クライアントは、軽量な再構成ステップを介して自分のコンパクトなサブモデルを共有グローバルパラメータ空間へ再構築し、クライアント間の相互運用性を確保する。
- 著者らは、局所計算、データの異質性、プルーニングによる摂動を考慮した、複数のローカルSGDステップを伴うフェデレーテッド最適化の収束境界を導出し、理論的な損失ベースのプルーニング基準へと繋げる。
- VGG および ResNet アーキテクチャを用いた FMNIST、CIFAR-10、CIFAR-100 の実験は、CA-HFP が精度を保持しつつ各クライアントの計算量と通信を削減し、標準的なフェデレーテッド学習および既存のプルーニングベースラインを上回ることを示す。
