マルチモーダル学習からユニモーダル展開へ：学習中に非構造化データを活用し、構造化データのみの展開を最適化する

要旨: 診療記録（EHR）の非構造化データ（例えば診療ノート）は、構造化データ項目には直接反映されない臨床的文脈上の観察を含んでいます。この追加情報は、モデルの学習を大幅に改善し得ます。しかし、非構造化であるため、これらのデータはしばしば利用できない、またはモデルをデプロイする際に使用することが実際的ではありません。私たちは、トレーニング中に非構造化EHRデータを活用しつつ、構造化EHRデータのみでデプロイ可能なモデルを生成するマルチモーダル学習の枠組みを提案します。遅れて話し始めたかどうかを評価した3,466人の子どもからなるコホートを用いて、BioClinicalBERTでノート埋め込みを生成し、人口統計情報および医療コードから構造化埋め込みを符号化しました。ノートベースの教師モデルと、構造化のみの学生モデルを、対比学習および対比知識蒸留の損失を用いて共同で学習し、強力な分類器（AUROC = 0.985）を得ました。提案モデルはAUROC 0.705に到達し、構造化のみのベースライン0.656を上回りました。これらの結果は、トレーニング時に非構造化データを組み込むことで、構造化EHRデータ内のタスクに関連する情報を特定するモデルの能力が向上し、デプロイ可能な構造化のみの表現型モデルを実現できることを示しています。