ブロードキャスト通信下における確率的勾配プッシュの最適化

要旨: 本稿では、ブロードキャスト通信のもとでの無線ネットワークにおける分散型フェデレーテッドラーニング（DFL）の収束時間を最小化する問題を、混合行列設計に焦点を当てて考察する。混合行列はDFLにとって重要なハイパーパラメータであり、反復ごとの収束率と、反復ごとの通信要求の両方を同時に制御し、それらはいずれも収束時間に強く影響する。先行研究においてこの問題は扱われてきたが、既存の解法の多くは、分散型並列確率的勾配降下（D-PSGD）向けに設計されており、混合行列が対称かつ双対確率行列であることを要求する。これらの制約は、活性化された通信グラフを無向（すなわち両方向）グラフに限定してしまい、設計の自由度を低くする。これに対して本稿では、非対称な混合行列を許容し、その結果、指向性のある通信グラフを可能にする、確率的勾配プッシュ（SGP）に対する混合行列設計を取り上げる。SGPの収束率が混合行列にどのように依存するかを解析することで、活性化された通信グラフのグラフ理論的パラメータに明示的に依存する目的関数を抽出し、それに基づいて、性能保証を備えた効率的な設計アルゴリズムを開発する。実データに基づく評価では、提案手法が訓練済みモデルの品質を損なうことなく、最先端手法と比べて収束時間を顕著に削減できることを示す。