潜在空間の合意による通信効率性とロバスト性を備えたマルチモーダル連邦学習

要約: フェデレーテッドラーニング（FL）は、生データを共有せずに分散デバイス間で協調的なモデル訓練を可能にしますが、マルチモーダル設定にFLを適用すると重大な課題が生じます。クライアントは通常、異種のモダリティとモデルアーキテクチャを有しており、プライバシーを保ちつつ通信コストを最小化しながら特徴空間を効率的に整合させることは難しいです。これを解決するために、学習可能な投影行列を用いて圧縮された潜在表現を生成する、通信効率の高いマルチモーダル連合学習フレームワークであるCoMFedを導入します。潜在空間正則化項はクライアント間でこれらの表現を整合させ、モーダリティ間の一貫性を高め、外れ値に対するロバスト性を高めます。人間の活動認識ベンチマークでの実験は、CoMFedが最小限のオーバーヘッドで競争力のある精度を達成することを示しています。