Haikuで空間バイオロジーと臨床病理組織学（H&E）をつなぐ

要旨: 分子、形態、臨床データを統合することは基礎およびトランスレーショナルな生物医学研究に不可欠である一方で、これらのモダリティを共同でモデル化するための体系的な枠組みは依然として限られている。ここでは、多重免疫蛍光（mIF）で学習した三モーダル対照学習モデルであるHaikuを提示する。Haikuは、11種類の臓器タイプにまたがる1,606人の患者からなる3,218の組織切片に対して得られた、26.7百万枚の空間プロテオミクス・パッチで構成される。これらには、共有された埋め込み空間にアラインされた、ヘマトキシリン・エオシン（H&E）組織病理像および臨床メタデータが対応付けられている。Haikuは三者間のクロスモーダル検索を可能にし、下流の分類および臨床予測タスクにおいて単一モダリティのベースラインよりも性能を向上させる。また、臨床メタデータのみのテキスト記述に条件付けた融合検索によって、ゼロショットのバイオマーカー推論もサポートする。これらのタスク全体において、Haikuは競合手法を上回り、クロスモーダル検索（Recall@50が最大0.611、ほぼゼロのベースラインに対して）、生存予測（C-index 0.737、相対的な改善+7.91%）、ゼロショットのバイオマーカー推論（52のバイオマーカーにわたる平均のピアソン相関0.718）を達成した。さらに、反実仮想（カウンターファクチュアル）予測の枠組みも導入する。この枠組みでは、組織の形態を固定したまま臨床メタデータのみを変更すると、乳がんのステージ進行および肺がんの生存転帰に関連するニッチ固有の分子変化を、反実仮想的に導出できる。肺腺がんのケーススタディでは、反実仮想解析により、CD8および顆粒酵素B（granzyme B）の増加、PD-L1の低下、Ki67の減少によって特徴づけられるニッチ固有の変化が回復され、概ね良好な転帰について報告されているパターンと整合することが示された。これらの反実仮想結果は、機序に関する主張ではなく、探索的で仮説を生み出すためのシグナルとして提示する。これらの能力は、Haikuによる三モーダル整合が空間生物学の統合的解析を可能にし、分子計測を臨床的文脈と結びつけて、生物学的な探究を促進することを示している。