医療における大規模言語モデルの比較分析

要旨: 背景: 大規模言語モデル（LLM）は、複雑な医療テキストを理解し、生成し、要約する能力により、医療分野における人工知能アプリケーションを変革しています。これらは医師、研究者、患者にとって貴重な支援を提供しますが、リスクの高い臨床環境での導入には、正確性、信頼性、患者安全に関する重大な懸念が生じます。近年、多くの注目が集まっているにもかかわらず、医療用途におけるLLMの標準化されたベンチマークは限定的でした。 目的: 本研究は、医療現場におけるLLMの標準化された比較評価の必要性に取り組みます。 方法: 本研究では、ChatGPT、LLaMA、Grok、Gemini、ChatDoctorを含む複数のモデルを、患者ノートの要約や医療に関する質問応答といった中核的な医療タスクについて、オープンアクセスのデータセットであるMedMCQA、PubMedQA、Asclepiusを用いて評価し、言語的指標とタスク固有の指標の組み合わせにより性能を評価します。 結果: 結果は、ChatDoctorのような領域特化型モデルが、医学的に正確で意味的に整合したテキストを生成し、文脈における信頼性において優れていることを示しています。一方で、GrokやLLaMAのような汎用モデルは、構造化された質問応答タスクにおいてより良い性能を示し、高い定量的精度を示しました。これは、医療タスクに応じて、領域特化型と汎用型のLLMの相補的な強みが活きることを示しています。 結論: 本研究の結果は、LLMが医療従事者を有意義に支援し、臨床的意思決定を強化し得ることを示唆していますが、安全かつ効果的な導入には、倫理基準の遵守、文脈における正確性、そして関連するケースにおける人間の監督が必要です。これらの結果は、タスク固有の評価と、LLMを医療ワークフローに慎重に統合することの重要性を強調しています。