臨床データを用いたAIモデル更新リスクの実証評価：安定性、恣意性、公平性

概要: 臨床現場で用いられる人工知能（AI）および機械学習（ML）モデルは、臨床上の意思決定を支援するためにますます導入されている。しかし、人口統計、環境、患者の行動の変化によって学習データが陳腐化すると、モデル性能が大きく低下する可能性がある。新しい学習データでモデルを更新することは必要だが、そのような更新は新たなリスクも導入し得る。われわれは、米国拠点で公開されているタイプ1糖尿病の4つのデータセットに対して、提案するモニタリングの枠組みを評価した。これらのデータセットには、高解像度の持続グルコースモニタリング（CGM）データが含まれており、20歳未満の496人の参加者から成る約11,300件の週次観測を含む。すべてのデータセットには、構造化された社会人口学的情報が含まれていた。事例研究として、タイプ1糖尿病の小児における重度高血糖イベントの予測を取り上げ、異なるモデル更新戦略がモデルの安定性にどのように悪影響を及ぼし得るか（例：更新後に多数の症例で予測が「反転（flip）」することによる）、予測の恣意性を高めること、またはサブ集団間での精度の公平性や誤り率のバランスを悪化させることを検討する。われわれは、これらの問題を検出するための継続的モニタリングのための複数の次元を提案し、そのようなモニタリングが、信頼できる臨床意思決定支援システムの開発に不可欠であることを論じる。