SL-FAC：周波数対応圧縮を備えた、通信効率の高い分割学習フレームワーク

概要: ニューラルネットワークの複雑性の増大は、リソースに制約のあるデバイスへの分散機械学習の導入を妨げています。分割学習（SL）は、大規模モデルを分割し、主要な学習負荷をエッジデバイスからエッジサーバへオフロードすることで、有望な解決策を提供します。しかし、参加デバイス数の増加やモデルの複雑化により、砕かれたデータ（例：活性や勾配）の送信に由来する大きな通信オーバーヘッドが生じ、これがSLにとって重要なボトルネックとなります。この課題に取り組むために、我々はSL-FACを提案します。SL-FACは、適応周波数分解（AFD）と周波数ベース量子化圧縮（FQC）の2つの主要コンポーネントから成る、通信効率に優れた分割学習フレームワークです。AFDはまず砕かれたデータを周波数領域へ変換し、情報が異なるスペクトル成分へ分解します。次にFQCは、各成分のスペクトルエネルギー分布に基づいて、それぞれにカスタマイズした量子化ビット幅を適用します。この協調的なアプローチにより、SL-FACは、モデルの収束に最も重要な情報を戦略的に保持しつつ、大幅な通信削減を達成できます。大規模な実験により、学習効率の向上においてSL-FACが優れた性能を示すことが確認されています。