多モーダル異質性における拡散ガイド付き意味的一致性

arXiv cs.AI / 2026/3/23

📰 ニュースDeveloper Stack & InfrastructureModels & Research

要点

  • SemanticFLは、拡散ガイド型連合学習フレームワークを導入し、拡散モデルの意味表現を用いてローカルトレーニングにプライバシー保護の指針を提供します。
  • 事前学習済みのStable Diffusionモデルからの多層表現(VAE潜在変数やU-Net特徴量を含む)を活用して、異種のクライアントを整合させる共有潜在空間を作成します。
  • クライアント-サーバーアーキテクチャにより重い計算をサーバーへオフロードし、マルチモーダルデータ全体でスケーラブルな連合最適化を可能にします。
  • 本フレームワークは、訓練中の収束を安定させ、クロスモーダル表現をより適切に整合させるために、クロスモーダル対比学習を用います。
  • CIFAR-10、CIFAR-100、およびTinyImageNetでの実験結果は、非IIDかつマルチモーダル設定の下でFedAvgより最大で5.49%の精度向上を示し、頑健性と有効性を示しています。