医療エンティティツリーから学ぶ：MLLM向けエンティティ中心の医療データエンジニアリングフレームワーク

要旨: マルチモーダル大規模言語モデル（MLLMs）は医療分野で大きな変革の可能性を示している一方で、モダリティや部署による粗い粒度での分割に依存する従来のデータキュレーション戦略によって性能が阻害されています。このような断片化したアプローチは、臨床医学の知識が持つ階層的かつ相互に結びついた性質を捉えられず、その結果、モデルのきめ細かな認識や複雑な推論を行う能力が制限されます。本論文では、新しいEntity-Centric Medical Data Engineering（エンティティ中心の医療データ工学）フレームワークを提案します。権威ある医学文献からエンティティを自動的に抽出し、疾患、解剖学的構造、モダリティ、症状を統一された知識リポジトリに体系的に符号化する階層構造であるMedical Entity Tree（MET）を構築します。METに基づき、以下を含む高度なデータエンジンを提案します：(1) ノードに導かれたレトリーバルにより、生データを特定の医療概念へとアンカー付けすること、(2) 精密な視覚—意味対応を保証するための二段階のハイブリッドフィルタリングおよびアラインメントのパイプライン、(3) 構造的制約を活用して、強化されたキャプションおよび標的化された推論VQAペアを生成する知識に配慮したデータ合成。6つの医療ベンチマークにわたる大規模な評価により、本アプローチが汎用目的のMLLMの医療能力を大幅に向上させ、複雑な臨床クエリを扱う能力を高め、さまざまな医療コンテキストにおいて最先端の性能を達成することを示します。