LoGSAM: MRIセグメンテーションのためのパラメータ効率の高いクロスモーダル・グラウンディング

要旨:
磁気共鳴画像法（MRI）を用いた脳腫瘍の正確な定位と境界の描出は、治療計画と外科的判断を導くうえで不可欠です。しかし、既存のほとんどの手法はタスク固有の監視モデルに依存しており、注釈データの利用可能性が限られていることに制約されています。これに対処するため、パラメータ効率の良い検出中心のフレームワーク LoGSAM を提案します。これは、放射線科医の口述を基盤モデルベースの局在化と分割のためのテキストプロンプトへと変換します。放射線科医の音声は、事前学習済みの Whisper ASR モデルを用いて最初に文字起こしおよび翻訳され、腫瘍特異的なテキストプロンプトを抽出するために否定を考慮した臨床 NLP が適用されます。これらのプロンプトは、LoRA 適応を受けた視覚と言語の検出モデル Grounding DINO（GDINO）によるテキスト条件付き腫瘍局在を導きます。LoRA 適応はモデルパラメータの 5% を更新することで、事前学習済みのクロスモーダル知識を保持しつつ、計算効率の高いドメイン適応を可能にします。予測されたバウンディングボックスは MedSAM のプロンプトとして使用され、追加のファインチューニングなしでピクセルレベルの腫瘍マスクを生成します。LoGSAM により導出された事前情報を用いて凍結された MedSAM を条件付けると、BRISC 2025 において最先端の Dice スコア 80.32% を達成します。さらに、認定放射線科医によるドイツ語のディクテーションを用いて未見の 12 件の MRI スキャンで全パイプラインを評価し、ケースレベルの精度を 91.7% に達成しました。これらの結果は、最小限のパラメータ更新で事前学習済みの基盤モデルを賢く活用することにより、モジュール式の音声からセグメンテーションへのパイプラインを構築する実現可能性を示しています。