MedVeriSeg：追加学習なしでクエリ妥当性を検証するためのMLLMベース医療セグメンテーションモデルの指導

要旨: MLLMベースの医用画像セグメンテーションにおける最近の進歩にもかかわらず、既存のLISAのような手法では誤ったクエリを確実に拒否できず、存在しないターゲットに対して幻覚的なセグメンテーションマスクを生成することがしばしばあります。この制約は、医療教育および臨床での実用的な信頼性を低下させます。本研究では、トレーニング不要の検証フレームワークであるMedVeriSegを提案し、LISAのような医用セグメンテーションモデルに、「存在しないターゲットを含む誤ったクエリ」を識別して拒否する能力を与えます。私たちの重要な観察は、[SEG]トークン特徴とMLLM画像特徴の間の類似度マップが、真のクエリと偽のクエリで大きく異なる分布パターンを示すという点です。これに基づき、類似度マップを3つの側面（強度、コンパクトさ、純度）から特徴づけるSimilarity Response Quality Scoring Moduleを導入し、まずはターゲットの存在に関する初期予測を生成します。さらに、GPT-4oを用いて、最終的な検証のために、類似度ヒートマップとSimilarity Response Quality Scoring Moduleの結果を共同で評価することにより、定性的な視覚的証拠も取り入れます。SA-Med2D-20Mから構築した小規模ベンチマークにおける実験により、MedVeriSegは、真のクエリの信頼できる認識を維持しつつ、誤ったクエリによるセグメンテーション要求を効果的に拒否できることを示しました。