医療系AI評価における妥当性のギャップ：ベンチマーク構成の横断的分析

要旨: 背景: 臨床試験は一般化可能性を確保するために透明な適格基準に依存しています。対照的に、健康関連の大規模言語モデル（LLMs）を検証するベンチマークは、含まれる「患者」または「クエリ」集団をほとんど特徴付けません。定義された構成がないと、総合的な性能指標は臨床利用におけるモデルの準備状態を誤って表す可能性があります。
方法: 公開ベンチマーク6つにわたる18,707件の消費者健康クエリを、標準化された16項目分類法を用いて文脈・トピック・意図をプロファイリングする自動コーディング手段としてLLMsを用いて分析しました。
結果: 構造的な「妥当性ギャップ」を特定しました。静的検索から対話型の対話へとベンチマークが進化している一方で、臨床構成は現実世界のニーズと乖離しています。コーパスの42%が客観データを参照していたものの、それはウェルネス志向のウェアラブル信号（17.7%）に偏っていました。複雑な診断入力は依然として稀で、検査値（5.2%）、画像診断（3.8%）、未加工の医療記録（0.6%）を含みます。安全性上重要なシナリオは実質的に欠如しており、自殺/自傷関連クエリはコーパスの<0.7%、慢性疾患管理はわずか5.5%でした。ベンチマークはまた、脆弱な集団（小児/高齢者を含む）を11%未満しか代表していませんでした。
結論: 評価ベンチマークは現実の臨床ニーズと依然ずれており、原始的な臨床データ、脆弱な集団の適切な表現、および長期的な慢性ケアのシナリオが欠如しています。この分野は臨床試験報告に類似した標準化されたクエリプロファイリングを採用し、臨床実践の全体的な複雑さに評価を合わせる必要があります。