BlazeFL: 高速かつ決定的なフェデレーテッドラーニング・シミュレーション

要旨: フェデレーテッドラーニング（FL）の研究はますます、数百または数千の仮想クライアントを用いた単一ノードのシミュレーションに依存しており、効率と再現性の両方が不可欠になっています。 しかし、並列クライアント学習では、共有された乱数状態やスケジューリングのばらつきによって非決定性が生じることが多く、その結果、研究者はスループットと再現性のどちらかを犠牲にするか、複雑なフレームワーク内で独自の制御ロジックを実装する必要に迫られます。 私たちは、単一ノードFLシミュレーションのための軽量フレームワークであるBlazeFLを提案します。これは、フリースレッド化された共有メモリ実行と決定論的な乱数管理によって、このトレードオフを緩和します。 BlazeFLは、サーバとクライアント間でメモリ上のパラメータ交換を行うスレッドベースの並列性を用い、シリアライズやプロセス間通信のオーバーヘッドを回避します。 決定論的な実行を支えるために、BlazeFLはクライアントごとに独立した乱数生成器（RNG）ストリームを割り当てます。 固定されたソフトウェア／ハードウェアスタックの下で、かつ確率的演算子がBlazeFLが管理するジェネレータを消費する場合、この設計により、スレッドベースおよびプロセスベースの両モードにおける高い同時実行性の反復実行で、ビット単位で同一の結果が得られます。 CIFAR-10の画像分類実験では、BlazeFLは広く利用されているオープンソースのベースラインに比べて実行時間を大幅に短縮し、通信が支配的なワークロードで最大3.1 imesの速度向上を達成しつつ、軽量な依存関係のフットプリントを維持します。 オープンソース実装は以下で公開しています: https://github.com/kitsuyaazuma/blazefl。