多様な病理に向けた生成型基盤モデル

要旨: 複雑な疾患の正確な診断と治療には、組織学的・分子的・臨床的データを統合することが必要である。しかし実際には、組織の入手量の制約、アッセイのコスト、ワークフロー上の制約などにより、これらのモダリティがしばしば不完全になる。既存の計算手法は、利用可能なデータから欠落モダリティを補完しようとするが、狭い範囲の単一のソース—ターゲットの組に対して学習された、タスク特化型モデルに依存しており、そのため汎化能力が制限される。ここでは、MuPD（Multimodal Pathology Diffusion）を提案する。MuPDは、拡散トランスフォーマにおいて結合を切り離したクロスモーダル注意（decoupled cross-modal attention）を用いることで、ヘマトキシリン・エオジン（H&E）染色の組織像、分子RNAプロファイル、臨床テキストを共通の潜在空間に埋め込む、生成型の基盤モデルである。MuPDは、1000万枚の組織画像パッチ、160万のテキスト—組織ペア、1080万のRNA—組織ペア（34のヒト臓器にまたがる）で事前学習されている。これにより、MuPDは、最小あるいはほぼゼロのタスク特化的ファインチューニングで、多様なクロスモーダル合成タスクを支援する。テキスト条件付きおよび画像から画像への生成では、MuPDは組織学的に忠実な組織アーキテクチャを合成し、領域特化型モデルに比べてFr\'echet inception distance（FID）スコアを50%低減する。さらに、合成データ拡張により、少数ショット分類精度を最大47%向上させる。RNA条件付きの組織生成では、MuPDは次点の最良手法と比較してFIDを23%低減しつつ、5種類のがんにおいて細胞タイプ分布を保持する。仮想スタイナーとして、MuPDはH&E画像を免疫組織化学（IHC）および多重免疫蛍光へと変換し、既存手法に比べて平均マーカー相関を37%改善する。これらの結果は、多様な病理モダリティにわたって事前学習された単一の統一的な生成モデルが、専門化された代替手法を大きく上回り得ること、そして多モーダルな組織病理（ヒストパソロジー）のためのスケーラブルな計算フレームワークを提供できることを示している。