大規模言語モデルを用いたフィンランドの電子健康記録からの臨床情報検索の自動化

Abstract

臨床医はしばしば、電子健康記録（EHR）から患者固有の情報を取得する必要があり、この作業は時間がかかり、かつ誤りが起こりやすいです。本研究では、外部データの転送なしにEHRから直接臨床質問に答える、ローカルにデプロイ可能なClinical Contextual Question Answering（CCQA）フレームワークを提案します。4Bから70Bのパラメータ規模を持つオープンソースの大規模言語モデル（LLM）を、183人の患者の記録から導出した1,664件の専門家による注釈付き質問—回答ペアを用いて、完全オフライン条件下でベンチマークしました。データセットは主にフィンランド語の臨床テキストで構成されていました。自由記述生成では、Llama-3.1-70Bが意味的に同等な質問バリエーションにわたって95.3%の精度と97.3%の一貫性を達成し、一方で小型のQwen3-30B-A3B-2507モデルも同等の性能を示しました。多肢選択の設定では、モデルはいずれも同程度の精度を示しましたが、キャリブレーションはばらつきました。低精度の量子化（4-bitおよび8-bit）は、予測性能を維持しつつ、GPUメモリ要件を削減し、デプロイ可能性を高めました。臨床評価では、出力の2.9%に臨床的に重大な誤りが見つかり、意味的に同等な質問では、応答が食い違うことがありました。具体的には、一方の定式化が正しく、他方には臨床的に重大な誤りが含まれているような事例が（0.96%のケースで）観察されました。これらの結果は、ローカルホストされたオープンソースLLMが自然言語クエリを用いてEHRから患者固有の情報を正確に取得できることを示す一方で、臨床デプロイにおける検証と人手による監督の必要性を浮き彫りにしています。