ヘルスケアにおける機械学習の個人レベル予測不安定性を診断するための方法

要旨: 医療において、予測モデルはますます患者単位の意思決定に用いられるようになっているが、個々のリスク推定値のばらつきとそれが治療判断に与える影響には、ほとんど注意が払われていない。機械学習で今や標準となっている過パラメータ化モデルでは、ばらつきの大きな原因が見過ごされがちである。データとモデル構造を固定していても、最適化および初期化によって導入されるランダム性は、同じ患者に対するリスク推定値を実質的に異なるものにしうる。この問題は、個人レベルの安定性に無関心な集計性能指標（例：対数損失、精度）に依拠する標準的な評価手法によって、ほとんど見えなくされている。その結果、集計性能が区別できないモデルであっても、手続き上の恣意性が大きく現れうるため、臨床的な信頼を損ないかねない。我々は、2つの相補的な診断法を用いて、個人レベルの予測不安定性を定量化する評価フレームワークを提案する。すなわち、連続的なリスク推定値のばらつきを捉える経験的予測区間幅（ePIW）と、しきい値に基づく臨床的意思決定の不安定性を測る経験的意思決定反転率（eDFR）である。これらの診断法を、シミュレーションデータおよびGUSTO-Iの臨床データセットに適用する。観測された設定全体において、柔軟な機械学習モデルでは、最適化と初期化のみに起因するランダム性が、学習データ全体を再サンプリングしたことによって生じるのと同程度の、個人レベルのばらつきを引き起こしうることを見出す。ニューラルネットワークは、ロジスティック回帰モデルと比べて、個人のリスク予測における不安定性が著しく大きい。臨床的に関連する意思決定のしきい値付近でのリスク推定の不安定性は、治療推奨を変えうる。これらの知見は、臨床的信頼性を評価するために、安定性診断を通常のモデル検証に組み込むべきであることを示している。