SwinTextUNet：Swin Transformer U-Net に CLIP ベースのテキスト誘導を統合することで医用画像セグメンテーションを行う

Abstract

正確な医用画像セグメンテーションは、コンピュータ支援診断と効果的な治療計画を実現するための基盤です。視覚的特徴のみに依存する従来のモデルは、曖昧またはコントラストの低いパターンに直面するとしばしば困難に直面します。これらの制約を克服するために、我々は SwinTextUNet を提案します。これは、Contrastive Language Image Pretraining（CLIP）を取り入れ、派生したテキスト埋め込みを Swin Transformer UNet のバックボーンに組み込むマルチモーダル・セグメンテーションの枠組みです。クロスアテンションと畳み込みによる融合を統合することで、モデルはセマンティックなテキストによる指示を階層的な視覚表現に効果的に整合させ、頑健性と精度を向上させます。我々は QaTaCOV19 データセットで提案手法を評価し、提案する4段階のバリアントが、性能と複雑さの最適なバランスを達成することを確認しました。Dice と IoU のスコアはそれぞれ 86.47% と 78.2% です。アブレーション研究により、テキストによる指示とマルチモーダル融合の重要性もさらに裏付けられます。これらの結果は、医用画像セグメンテーションを推進し、臨床的に意味のある診断ツールを支えるうえでの、ビジョンと言語の統合の有望さを示しています。