Uni-EncoderがMulti-Encodersと出会う：欠損モダリティに対応した脳腫瘍セグメンテーションのための融合前表現学習

要旨: 多様なモダリティに基づくMRI（マルチモーダルMRI）は、脳腫瘍のセグメンテーションに対して補完的な情報を提供しますが、臨床スキャンでは1つ以上のモダリティが欠落していることが多く、その結果としてセグメンテーション性能が低下します。本論文では、欠落モダリティを伴う脳腫瘍セグメンテーションのための、2段階の異種（ヘテロジニアス）手法であるUniME（Uni-Encoder Meets Multi-Encoders）を提案します。この手法は、きめ細かな構造の捉え方、モーダル間の補完性モデリング、利用可能なモダリティの活用といったトレードオフを整合させます。提案の要点は、2段階の異種アーキテクチャによって、表現学習とセグメンテーションを切り離すことです。第1段階では、マスク画像モデリングによって、欠落モダリティにも頑健な統一的表現を確立する単一のViT Uni-Encoderを事前学習します。第2段階では、モダリティ固有のCNN Multi-Encodersを追加し、高解像度かつマルチスケールで、きめ細かな特徴を抽出します。これらの特徴をグローバルな表現と融合し、正確なセグメンテーションを生成します。BraTS 2023およびBraTS 2024における実験により、UniMEは、不完全なマルチモーダル状況において従来手法を上回ることが示されます。コードは https://github.com/Hooorace-S/UniME で公開されています