EuropeMedQA研究プロトコル：言語モデル評価のための多言語・マルチモーダル医療試験データセット

Abstract

大規模言語モデル（LLM）は英語中心の医学試験において高い能力を示している一方で、非英語の言語やマルチモーダルな診断タスクに直面すると、その性能が低下することが多い。本研究のプロトコルは、イタリア、フランス、スペイン、ポルトガルの公式な規制試験に由来する、最初の包括的な多言語・マルチモーダル医学試験データセットであるEuropeMedQAの開発を記述する。FAIRデータ原則およびSPIRIT-AIガイドラインに従い、比較分析のための厳密なキュレーション手順と自動翻訳パイプラインについて述べる。さらに、ゼロショットで、厳密に制約されたプロンプト戦略を用いて、現代的なマルチモーダルLLMを評価し、言語横断転移と視覚推論を検討する。EuropeMedQAは、欧州の臨床実務の複雑さを反映し、より汎化可能な医療AIの開発を促進する、汚染に耐性のあるベンチマークを提供することを目指している。