大規模な臨床情報抽出における信頼性を担保するための、LLMを用いた多段階バリデーションフレームワーク

Abstract

大規模言語モデル（LLM）は、非構造化の医療記録から臨床的に有意義な情報を抽出するために有望である一方、その実世界への適用は、スケーラブルかつ信頼できる検証アプローチが欠如していることによって制約されています。従来の評価手法は、注釈作業を大量に要する参照標準や不完全な構造化データに大きく依存しており、人口規模での実現可能性を制限しています。本研究では、弱い監督（weak supervision）のもとで厳密な評価を可能にする、LLMベースの臨床情報抽出のための多段階検証フレームワークを提案します。このフレームワークは、プロンプト校正、ルールベースの妥当性フィルタリング、セマンティック・グラウンディング評価、独立した高能力のジャッジLLMを用いた標的型の確証評価、選択的な専門家レビュー、外部の予測的妥当性分析を統合し、網羅的な手作業による注釈を行わずに不確実性を定量化し、誤りのモードを特徴づけます。我々は、このフレームワークを、11の物質カテゴリにまたがる物質使用障害（SUD）診断の抽出に適用しました（919,783件の臨床ノート）。ルールベースのフィルタリングとセマンティック・グラウンディングによって、LLM陽性抽出のうちサポートされていない、無関係、または構造的に不可能なものの14.59%が除去されました。不確実性が高い症例において、ジャッジLLMによる評価は、領域専門家のレビューとの間で実質的な一致を示しました（Gwet's AC1=0.80）。ジャッジ評価された出力を参照として用いると、主要なLLMは、緩和したマッチング基準のもとでF1スコア0.80を達成しました。LLMによって抽出されたSUD診断は、構造化データのベースラインよりも、SUD専門ケアへのその後の関与をより正確に予測しました（AUC=0.80）。これらの結果は、注釈集約型の評価を行わずに、LLMベースの臨床情報抽出をスケーラブルかつ信頼できる形で導入できることを示しています。