GraphPL：Patchwork Learningにおける効率的で頑健なモダリティ補完のためのGNN活用

概要: 分散型マルチモーダル学習に関する現在の研究では、クライアントがすべてのモダリティにまたがる完全な情報にアクセスできると仮定することが一般的ですが、実際には成り立たない場合があります。本論文では、異なるクライアントで利用可能なモダリティが異なるパッチワーク学習を探究し、各クライアントに欠落しているモダリティを教師なしで補完することを目的とします。既存手法は、観測されたモダリティの一部のみに依存しがちであるため、モダリティ情報を十分に活用できないことが示されています。この問題に対処するため、グラフニューラルネットワークとパッチワーク学習を組み合わせたGraphPLを提案します。GraphPLは、観測されたすべてのモダリティを柔軟に統合でき、かつノイズのある入力に対しても頑健です。実験結果により、GraphPLはベンチマークデータセットにおいてSOTAの性能を達成することが示されました。さらに、実世界の分散型電子カルテ（EHR）データセットに関する本結果では、GraphPLが強力な下流特徴を学習し、優れたモダリティ補完を通じて疾病予測のようなタスクを可能にすることが示されました。