BLOSSOM：共有および疎な観測モダリティ上でのブロック単位フェデレーテッドラーニング

概要: マルチモーダル連合学習（FL）は、自律システムや医療などの実世界のアプリケーションに不可欠です。これらの領域では、データが異なるクライアントに分散しており、モダリティは多様であるうえに、しばしば欠損しています。しかし、既存のほとんどのFL手法は、モダリティの利用可能性が一様であることを前提としているため、実運用での適用性が制限されます。私たちは、共有されていてかつ疎に観測されるモダリティ条件の下で動作することを目的とした、マルチモーダルFLのためのタスク非依存型フレームワーク「BLOSSOM」を提案します。BLOSSOMは任意のモダリティ部分集合を持つクライアントをサポートし、モデル構成要素の柔軟な共有を可能にします。クライアントおよびタスクの異質性に対処するために、共有される構成要素を選択的に集約しつつ、タスク固有のブロックはプライベートに保持するブロック単位の集約戦略を提案します。これにより、部分的なパーソナライズが可能になります。私たちは、複数の多様なマルチモーダルデータセットでBLOSSOMを評価し、欠損モダリティとパーソナライズの効果を分析します。結果として、ブロック単位のパーソナライズは、特にモダリティ疎度が厳しい設定において、性能を大幅に向上させることを示しました。モダリティ不完全なシナリオでは、BLOSSOMはフルモデル集約に対して平均で18.7%の性能向上を達成し、一方、モダリティ排他の設定ではその向上幅は37.7%にまで増大します。これは、実運用可能なマルチモーダルFLシステムにおけるブロック単位学習の重要性を強調しています。