セマンティック類似度を超えて：健康格差への影響を踏まえた医療質問応答システムのコンポーネント別評価フレームワーク

Abstract

医療上の質問に対処するために患者を支援する目的で、大規模言語モデル（LLM）を用いることが、ますます一般的になってきています。しかし、この文脈で現在用いられているほとんどの評価手法は、モデルの回答が意味論的にどれほど近いかを測るものにとどまっており、そのため、モデルの医学的な正確さ、またはそれに伴う健康の公平性リスクについての真の指標は提供していません。これらの欠点に対処するため、医療質問応答のための新しい評価枠組みであるVB-Score（Verification-Based Score）を提示します。これは、医療質問応答モデルに対して、エンティティ認識、意味的類似性、事実整合性、構造化情報の完全性の4つの構成要素を別々に評価できるようにするものです。私たちは、高品質で権威ある情報源から取得した公衆衛生関連の48のトピックについて、広く知られ広く使用されている3つのLLMの性能を対象に、厳密な検証を行います。分析に基づき、モデルの意味精度とエンティティ精度の間に大きな不一致があることを発見しました。3つのモデルすべてについて行った評価では、いずれも、私たちの評価基準に照らして評価すると、ほぼ一様に深刻な性能不全が見られることが示されています。私たちの結果は、公衆衛生のさまざまなトピックにおける憂慮すべき性能格差を示しており、多くのモデルは、より高齢の人々や少数派の集団に発生する慢性疾患に関連するすべての公衆衛生トピックにおいて、（全体平均と比較して）13.8%低い性能を示しています。これは、いわゆる「状態（condition）に基づくアルゴリズムによる差別」が存在することを示唆しています。さらに私たちの結果は、プロンプト・エンジニアリングだけでは、これらのモデルが医療エンティティを抽出する際の基本的なアーキテクチャ上の制約を補うことはできないことも明らかにし、意味論的評価のみが医療AIの安全性を測るのに十分な指標なのかという問いを提起します。