Ultrasound-CLIP：超音波画像とテキスト理解のためのセマンティック対応型コントラスト学習による事前学習

要旨: 超音波イメージングは、リアルタイム性と放射線を伴わない性質により、臨床診断で広く用いられています。 しかしながら、CLIPのような既存の視覚-言語事前学習モデルは主に他のモダリティを対象として設計されており、解剖学的構造が多様で、診断属性も幅広い超音波データに対しては、そのまま直接適用することが困難です。 このギャップを埋めるために、52の解剖カテゴリにまたがる365k件のペアサンプルから成る大規模な超音波画像-テキストデータセットUS-365Kを構築します。 さらに、2つの階層的な知識フレームワークを含む超音波診断タクソノミ（UDT）を確立します。 超音波階層解剖タクソノミは解剖学的な組織化を標準化し、超音波診断属性フレームワークは、身体システム、臓器、診断、形状、辺縁、エコー輝度、内部特徴、後方音響現象、血管性を含む9つの診断次元を形式化します。 これらの基盤の上に、意味論に配慮した対照学習フレームワークであるUltrasound-CLIPを提案します。これは、サンプルの識別を改善するために意味論ソフトラベルと意味論損失を導入します。 加えて、UDAFのテキスト表現から導出した異種グラフモダリティを構築し、病変-属性関係に対する構造化された推論を可能にします。 患者レベルでのデータ分割を用いた大規模な実験により、本手法は分類および検索のベンチマークにおいて最先端の性能を達成し、さらにゼロショット、線形プロービング、微調整といったタスクに対しても強い汎化性能を示します。