Gastric-X: 胃がん分析における視覚と言語モデルを発展させるための多モーダル・多段階ベンチマークデータセット

概要: 最近のビジョン・ランゲージモデル（VLMs）は、自然ドメインにおいて強力な一般化能力とマルチモーダル推論能力を示してきました。しかし、臨床ワークフローを実際に捉える包括的で構造化されたデータセットの不足により、医療診断への適用は依然として限界があります。臨床応用、特に胃がん領域におけるVLMsの開発を促進するために、Gastric-Xを導入します。胃がん分析の大規模マルチモーダルベンチマークで、1,700件の症例を提供します。Gastric-Xの各症例には、安静時および動的CTスキャン、内視鏡画像、構造化された生化学的指標のセット、専門家作成の診断ノート、腫瘍領域の境界ボックス注釈が含まれ、現実的な臨床条件を反映しています。私たちは最近のVLMsの能力を、五つの主要タスクで体系的に検証します：視覚的質問応答（VQA）、レポート生成、クロスモーダル検索、疾患分類、病変局在化。これらのタスクは、視覚的理解と推論からマルチモーダル意思決定支援に至る臨床ワークフローの重要な段階を模倣します。この評価を通じて、モデルの性能を評価するだけでなく、VLMの理解の性質を探ることを目的としています。現行のVLMは、生化学的シグナルと空間的腫瘍特徴およびテキストレポートを意味のある形で関連付けることができるのか。Gastric-Xを、医師の認知的および証拠に基づく推論プロセスと機械知能を整合させる一歩として位置づけ、次世代医療VLMの開発を促す資源として見なします。