リーダーボードのその先へ：大規模言語モデルの医療ベンチマークを再考する

概要: 大規模言語モデル（LLM）は医療分野で大きな可能性を示しており、その能力を評価するために多数のベンチマークが行われています。しかし、これらのベンチマークの信頼性に関する懸念が依然として残っています。これらの多くは臨床的な忠実性を欠いているほか、堅牢なデータ管理や、安全性志向の評価指標が不足しています。こうした不十分さに対処するため、私たちはMedCheckを提案します。これは医療ベンチマークのために特化して設計された、最初のライフサイクル指向の評価フレームワークです。私たちのフレームワークでは、ベンチマークの開発を、設計からガバナンスまでの5つの継続的な段階に分解し、医療に合わせて調整された46の包括的なチェックリストを提供します。MedCheckを用いて、53の医療用LLMベンチマークに対し、詳細な実証評価を実施しました。分析の結果、臨床実務からの深い断絶、抑制されない汚染リスクによるデータ完全性の危機、モデルの頑健性や不確実性の認識といった安全性に重大な評価次元の体系的な軽視など、広範で根深い問題が明らかになりました。これらの知見に基づき、MedCheckは、既存ベンチマークの診断ツールであると同時に、医療におけるAI評価をより標準化され、信頼性が高く、透明性のあるものにするための、実行可能な指針として機能します。