MUST：欠損モダリティを伴う拡散強化サバイバル予測のための、モダリティ固有の表現を意識したトランスフォーマ

Abstract

マルチモーダルな医療データからの正確な生存予測は、精密腫瘍学に不可欠である一方、臨床導入には持続的な課題があります。それは、コスト制約、技術的な制限、または遡及的データの利用可能性のために、モダリティがしばしば不完全になることです。近年の手法は、特徴アライメントや共同分布学習によって欠損モダリティを補おうとするものの、他のモダリティから導出可能な情報とは対照的に、各モダリティがもたらす固有の寄与を明示的にモデリングする点で本質的に欠けています。私たちは MUST（Modality-Specific representation-aware Transformer）という新規の枠組みを提案します。この枠組みでは、学習された低ランクの共有部分空間における代数的制約を通じて、各モダリティの表現をモダリティ固有成分と、モダリティ間で文脈づけされた成分へと明示的に分解します。この分解により、モダリティが欠けたときにどの情報が失われるのかを正確に特定できます。利用可能なモダリティから推論できない真にモダリティ固有の情報については、条件付き潜在拡散モデルを用いて、回復された共有情報と学習された構造的事前知識に条件付けすることで、高品質な表現を生成します。5つのTCGAがんデータセットに対する大規模な実験の結果、MUSTは完全データにおいて最先端の性能を達成し、病理が欠損する条件およびゲノミクスが欠損する条件の両方で頑健な予測を維持し、臨床的に許容可能な推論遅延であることが示されました。