モデル個別化を備えた不確実性と異質データにおける確率的フェデレーテッドラーニング

要旨: 従来のフェデレーテッドラーニング（FL）フレームワークは、局所クライアント間のデータ不確実性と非同質性に起因する学習の劣化に悩まされることが多い。ベイズニューラルネットワーク（BNN）のような確率的アプローチは不確実性を明示的にモデル化することでこの問題を緩和できるが、追加の実行時間、レイテンシ、および帯域幅のオーバーヘッドを招く。フェデレーテッド設定での研究はほとんど行われていない。これらの課題に対処するため、Meta-BayFLを提案する。これはメタ学習とBNNを組み合わせて、不確実で非同質なデータの下で学習を改善する個別化確率的FL手法である。フレームワークは三つの主な特徴を有する。 (1) BNNベースのクライアントモデルが隠れ層全体の不確実性を取り入れ、小規模でノイズの多いデータセットでの学習を安定化させる、 (2) 適応学習率を用いたメタ学習により、非IID条件下で局所学習を強化する個別化アップデートを実現する、 (3) 統一された確率的かつ個別化設計がグローバルモデルのアグリゲーションの頑健性を高める。理論的な収束解析を提供し、通信ラウンドにわたるグローバルモデルの上界を特徴づける。さらに、計算コスト（実行時間、レイテンシ、通信）を評価し、エッジノードやIoTシステムなどのリソース制約下デバイスへのデプロイ可能性についても検討する。CIFAR-10、CIFAR-100、およびTiny-ImageNetを対象とした広範な実験により、Meta-BayFLは標準的および個別化FLアプローチ（例：pFedMe、Ditto、FedFomo）を含む最先端手法を一貫して上回り、テスト精度が最大で7.42%高くなることを示している。