ガイド：1型糖尿病における行動アクション支援のための強化学習

要旨: 1型糖尿病（T1D）の管理では、安全な目標範囲内に血糖を維持するために、インスリンと生活習慣行動を継続的に調整する必要があります。自動化インスリン投与（AID）システムは血糖の転帰を改善してきたものの、多くの患者が依然として推奨される臨床目標を達成できていないため、T1D患者の血糖コントロールを改善する新しいアプローチが求められています。強化学習（RL）は有望な手法として利用されてきましたが、現在のRLベースの方法は主にインスリンのみの治療に焦点が当てられており、血糖コントロールのための行動に関する推奨を提供していません。このギャップに対応するため、我々は、異常な血糖イベントを予防するための行動に関する推奨を提供することでAID技術を補完する、RLベースの意思決定支援フレームワークであるGUIDEを提案します。GUIDEは、介入タイプ、強度（マグニチュード）、タイミングによって定義される構造化されたアクションを生成し、ボーラスインスリン投与イベントや炭水化物摂取イベントを含みます。GUIDEは、実世界の持続血糖モニタリングデータで訓練された患者固有の血糖レベル予測器を統合し、統一された環境の中でオフラインRLアルゴリズムとオンラインRLアルゴリズムの両方をサポートします。我々は、標準化された血糖指標を用いて、T1Dの25名の被験者に対し、オフポリシー法とオンポリシー法の両方を評価します。評価した手法の中では、CQL-BCアルゴリズムが平均の時間内（time-in-range）で最も高い値を示し、低血糖への曝露を抑えたまま85.49%に達しました。さらに、行動類似性の分析により、学習されたCQL-BCポリシーが患者の行動パターンの主要な構造特性を保持していることが示され、被験者間で平均コサイン類似度0.87 1 0.09を達成しました。これらの結果は、構造化された行動アクション空間を備えた保守的なオフラインRLが、パーソナライズされた糖尿病管理に対して、臨床的に意味のあるかつ行動学的に妥当な意思決定支援を提供し得ることを示唆しています。