臨床ナラティブから嗜好ベースの目的関数を学習し、逐次的な治療意思決定を行う

Abstract

医療分野における強化学習（RL）では、報酬関数の設計は依然として中核的な課題です。医療では、アウトカムが疎であり、遅れて現れ、かつ仕様化が難しいためです。構造化データによって生理学的状態を取得することはできますが、しばしば患者の臨床経過全体の質——回復ダイナミクス、治療負担、安定性を含む——を反映できません。一方、臨床ナラティブ（叙述）は、縦断的な推論を要約し、治療有効性に対する評価を暗黙的に符号化します。私たちは、退院サマリーを軌跡（トラジェクトリ）レベルの嗜好に対するスケーラブルな監督（supervision）として扱うことで、退院サマリーから報酬関数を直接学習する枠組みであるClinical Narrative-informed Preference Rewards（CN-PR）を提案します。大規模言語モデルを用いて、軌跡品質スコア（TQS）を導出し、患者の軌跡間に対するペアワイズな嗜好を構築することで、構造化された嗜好ベースの目的関数により報酬学習を可能にします。ナラティブの情報量のばらつきを考慮するため、意思決定課題に対する関連度に応じて監督の重み付けを行う信頼度シグナルを組み込みます。学習された報酬は軌跡品質と強く整合します（Spearmanのrho = 0.63）。さらに、臓器サポート不要日数の増加やショックの解決の迅速化など、回復関連アウトカムの改善と一貫して結び付く方策を可能にします。その一方で、死亡率に関しては同等の性能を維持しています。これらの効果は外部検証のもとでも持続します。私たちの結果は、ナラティブから得られる監督が、手作りの報酬設計、またはアウトカムに基づく報酬設計に対する、動的な治療レジメン向けのスケーラブルで表現力のある代替手段であることを示しています。