Multi-contrast Self-attention GAN による脳MRI画像合成

arXiv cs.AI / 2026/4/2

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、単一のT2入力から欠損しているMRIモダリティを合成する統一型3D自己注意GANである3D-MC-SAGANを提案し、すべてのコントラストを各患者で取得することが現実的でない問題に対処する。
残差接続を備えたマルチスケール3Dエンコーダ–デコーダ型ジェネレータと、腫瘍の特徴を保持しつつ長距離依存関係を効率的に捉えるMemory-Bounded Hybrid Attention（MBHA）ブロックを用いる。
学習では、WGAN-GPによる敵対的学習の枠組みに加えて、再構成、知覚、SSIM、コントラスト条件付け／分類、さらにセグメンテーション誘導損失など複数の目的項を組み合わせる。加えて、腫瘍形態の整合性制約のため、固定した3D U-Netセグメンテーションモジュールを用いる。
3D脳MRIデータセットでの実験により、最先端の定量性能が報告されており、視覚的に自然で解剖学的に妥当なマルチコントラスト出力が得られる。腫瘍セグメンテーション精度も、完全に取得されたマルチモーダル入力に匹敵する。
全体として、本手法は臨床的に意味のある腫瘍情報を損なうことなく、MRI撮像の負担（時間／コスト／不快感）を軽減することを目指す。

Abstract

正確で完全な多モーダル磁気共鳴画像法（MRI）は、各コントラストが補完的な解剖学的および病理学的情報を提供するため、神経腫瘍学的評価に不可欠です。しかし、すべてのモダリティ（例：T1c、T1n、T2、T2f）をすべての患者について取得することは、時間・費用・患者の負担の観点からしばしば現実的ではなく、腫瘍の包括的な評価が制限される可能性があります。本研究では、単一のT2入力から腫瘍の特徴を明示的に保持しつつ、高忠実度な欠損モダリティを生成する統一的な3D多コントラスト合成フレームワークである、3D-MC-SAGAN（3D Multi-Contrast Self-Attention generative adversarial network）を提案します。このモデルは、残差接続を備えたマルチスケールの3Dエンコーダ–デコーダ生成器と、長距離依存を効率的に捉えるための新しいMemory-Bounded Hybrid Attention（MBHA）ブロックを用い、WGAN-GPのクリティックと補助的なコントラスト条件付けブランチで学習することで、単一の統一ネットワーク内でT2f、T1n、T1cボリュームを生成します。固定された3D U-Netベースのセグメンテーションモジュールにより、病変の形態を保持するためのセグメンテーション整合性制約を導入します。複合目的関数は、敵対的損失、再構成損失、知覚損失、構造的類似性、コントラスト分類、セグメンテーション誘導損失を統合し、腫瘍を保持する構造に対して大域的な現実感を整合させます。3D脳MRIデータセットに対する大規模な評価により、3D-MC-SAGANは最先端の定量性能を達成し、視覚的に一貫した、解剖学的に妥当なコントラストを生成するとともに、分布レベルの現実感が向上することが示されます。さらに、完全に取得された多モーダル入力と同等の腫瘍セグメンテーション精度を維持し、臨床的に意味のある情報を保持しつつ撮像負担を軽減できる可能性を示しています。