QuantFL: 事前学習済みモデル量子化を用いたエッジIoT向け持続可能な連合学習

要旨: フェデレーテッド・ラーニング（FL）は、IoTデバイス上でプライバシーを保護する知性を実現しますが、頻繁なアップリンク送信の高エネルギーコストにより、かなりの炭素フットプリントを生じさせます。エッジデバイス上で事前学習済みモデルがますます利用可能になっている一方で、微調整のエネルギー負荷を低減する潜在性は未だ十分に検討されていません。本研究では、事前学習済みの初期化を活用して積極的で計算負荷の低い量子化を可能にする、持続可能なFLフレームワーク QuantFL を提案します。事前学習は更新統計を自然に集中させることを示しており、複雑な誤差フィードバック機構のエネルギー集約的なオーバーヘッドを伴わず、メモリ効率の高いバケット量子化を用いることを可能にします。 MNISTおよび CIFAR-100 では、QuantFL は総通信量を 40％ 削減します（\simeq40\% 総ビット削減は全精度ダウンリンク時；\geq80\% はアップリンク、または下りが量子化されている場合）。厳格な帯域予算の下で、未圧縮ベースラインと同等またはそれを上回ります。BU は桁違いに少ないビット数で、MNIST で 89.00%、CIFAR-100 で 66.89% のテスト精度を達成します。私たちはまた、アップリンクとダウンリンクのコストにも配慮し、量子化レベルと初期化に関するアブレーションを提供します。QuantFL は、バッテリー制約のある IoT ネットワーク上でのスケーラブルなトレーニングに対して、実用的で「グリーン」なレシピを提供します。