モダリティ対応かつ解剖学的ベクトル量子化オートエンコーダによるマルチモーダル脳MRIのための手法

Abstract

堅牢な変分オートエンコーダ（VAE）を学習することは、MRI合成のような医療画像解析における多くの深層学習アプリケーションにとって基礎的なステップです。既存の脳VAEは主として単一モダリティのデータ（すなわち、T1強調MRI）に焦点を当てており、T2強調MRIのような他のモダリティが持つ補完的な診断価値を見落としています。そこで本研究では、多モダリティ脳MRIを再構成するための、モダリティを意識した解剖学的に基づく3Dベクトル量子化VAE（VQ-VAE）を提案します。NeuroQuantと呼ばれるこの手法は、まず因数分解されたマルチ軸アテンションを用いて、モダリティ間で共有される潜在表現を学習し、遠隔の脳領域間の関係を捉えることができます。次に、モダリティ不変な解剖学的構造の符号化と、モダリティに依存した見え（appearance）の符号化とを明示的に分離するデュアルストリームの3Dエンコーダを用います。続いて、解剖学的符号化を共有コードブックで離散化し、復号フェーズではFeature-wise Linear Modulation（FiLM）により、モダリティ固有の見え特徴と組み合わせます。このアプローチ全体は、3D MRIデータのスライスベースの取得を考慮するために、共同の2D/3D戦略を用いて学習されます。2つの多モダリティ脳MRIデータセットで行った大規模な実験により、NeuroQuantは既存のVAEに比べて再構成の忠実度が優れていることが示されます。これにより、下流の生成モデリングおよびモダリティ間の脳画像解析のための、スケーラブルな基盤を実現します。