AIが判断を誤るとき：AI支援による投薬意思決定システムにおける信頼性とリスク

概要: 人工知能（AI）システムは、医療および製薬の業務フローにますます統合されており、薬剤の推奨、用量の決定、薬物相互作用の検出といったタスクを支援しています。これらのシステムはしばしば、標準的な評価指標のもとで高い性能を示すものの、現実の意思決定における信頼性はいまだ十分に理解されていません。薬物管理のような高リスク領域では、たとえ1つの誤った推奨であっても重篤な患者被害につながり得ます。本論文は、システムの失敗とその潜在的な臨床的帰結に焦点を当てることで、AI支援による投薬システムの信頼性を検討します。集計的な指標だけで性能を評価するのではなく、AIシステムが誤った出力を生成したときに、どのように誤りが起こり、何が起きるのかに注意を移します。薬物相互作用と用量判断を扱った一連の制御されたシミュレーション状況を通じて、見落とされた相互作用、誤ったリスクのフラグ付け、不適切な用量推奨といった、さまざまな種類のシステム失敗を分析します。得られた結果は、投薬関連の文脈におけるAIの誤りが、望ましくない薬物反応、効果のない治療、あるいはケアの遅延につながり得ることを示しています。特に、それらのシステムが十分な人間の監督なしに使用される場合にその傾向が顕著です。さらに本論文では、AI推奨への過度な依存に伴うリスクと、意思決定プロセスにおける透明性の制限によってもたらされる課題についても論じます。本研究は、失敗の振る舞いと現実世界での影響を理解することの重要性を強調しつつ、医療におけるAI評価に対して信頼性に焦点を当てた視点を提供します。従来の性能指標を、安全性が極めて重要な領域、たとえば製薬実務のような領域では、とりわけリスクを意識した評価アプローチで補完する必要があることを示しています。