オフライン強化学習とデジタルツイン検証による自動化機械的換気の安全性確保

ICUにおける急性呼吸不全（ARF）患者にとって、機械的換気（MV）は生存を左右する介入である。しかし、不適切な換気設定は換気関連肺傷害（VILI）を引き起こす可能性がある。さらに、臨床医の作業負荷は患者アウトカムと直接的に関連していることが示されている。したがって、MVは患者アウトカムを改善するために個別化され自動化されるべきである。MVに個別化と自動化を組み込もうとする以前の試みには、伝統的な教師あり学習やオフライン強化学習（RL）のアプローチが含まれ、これらは時系列依存性を見過ごしがちで死亡率ベースの報酬に過度に依存していた。その結果、早期の生理的悪化やVILIのリスクが十分に捉えられていない。これらの制限に対処するため、TransformerベースのConservative Q-Learning（T-CQL）を提案する。これは、患者ダイナミクスを効果的に時系列モデリングするTransformerエンコーダ、不確実性量化に基づく保守的適応正則化による安全性確保、堅牢な意思決定のための整合性正則化を組み込んだ新しいオフラインRLフレームワークである。臨床的に情報を組み込んだ報酬関数を構築し、VILIの指標と患者の病状重症度のスコアを含める。さらに、従来の研究は主に静的なオフラインデータでRL方策の評価を行うFitted Q-Evaluation（FQE）を用いる傾向があり、動的環境変化に対する応答性が低く分布のシフトに敏感である。これらの評価制限を克服するため、ARF患者のインタラクティブなデジタルツインを用いてオンラインのベッドサイド評価を行った。我々の結果は、T-CQLが既存の先端オフラインRL手法を一貫して上回り、より安全で効果的な換気調整を提供することを示し、さらにTransformerベースのモデルと保守的RL戦略の組み合わせが重症ケアの意思決定支援ツールとしての潜在力を示している。