DeepImagine：連続的な反事実イメージングによる生物医学的推論の学習

Abstract

進行中またはこれから実施される臨床試験の結果を予測することは、大規模言語モデルにとって依然として大きな課題です。従来の相関ベースの予測器、たとえばランダムフォレストやロジスティック回帰、そして強力な市販のLLMの両方が、このタスクでは限定的な性能しか達成できないことが先行研究で示されています。本論文では、連続する反実仮想（カウンターファクチュアル）による想像を通じて、LLMに生物医学的推論を教えるための枠組み DeepImagine を提案します。中心となる考え方は、投与量、アウトカム指標、試験群（スタディアーム）、地理、その他の試験属性といった実験条件を制御して摂動させたときに、観測された試験結果がどのように変化するかをモデルに推論させることで、臨床試験の隠れた因果メカニズムを近似することです。この目的を支えるために、報告されたアウトカムを伴う実臨床試験から、自然な反実仮想ペアと近似反実仮想ペアの両方を構築します。たとえば、対となるアウトカム指標や、同一試験内における用量範囲（dose-ranging）の試験群など、厳密な反実仮想の教師信号が利用可能な設定では、モデルを教師あり微調整で学習させます。一方で、より広い設定では、近似反実仮想ペアしか取得できないため、下流のベンチマークの正しさに基づく検証可能な報酬を用いて、強化学習によりモデルを最適化します。さらに、局所的な反実仮想遷移に対して因果的にもっともらしい説明を与える合成の推論トレースで、学習を補強します。このパイプラインにより、Qwen3.5-9B を含む 10B 未満のパラメータ規模の言語モデルを訓練し、臨床試験のアウトカム予測で評価します。DeepImagine が、チューニングされていない言語モデルや従来の相関ベースラインに比べて一貫して改善することを示すことを目指します。最後に、学習された推論の軌跡が、モデルが試験レベルのメカニズムをどのように表現しているかについて解釈可能なシグナルを提供することを示し、よりメカニズム志向で、科学的に有用な生物医学的言語モデルへの実践的な道筋を提示することを目指します。