レアリティを見逃すな：稀少な皮膚疾患は診断推論だけで信頼性をもって診断できるのか？

要旨: 大規模視覚言語モデル（LVLMs）は皮膚科領域で高い性能を示している。しかし、希少疾患の診断推論を評価することは依然としてほとんど検討されていない。既存のベンチマークは一般的な病気に焦点を当て、最終的な正確さのみを評価し、複雑なケースにとって重要な臨床推論プロセスを見落としている。複雑なケースにとって重要な臨床推論プロセスを埋めるべく、査読付きケースレポートから派生した長文コンテキストのベンチマーク DermCase を構築することでこのギャップを埋める。我々のデータセットは、26,030件のマルチモーダル画像-テキスト対と 6,354 件の臨床的に困難なケースを含み、それぞれ包括的な臨床情報と段階的な推論チェーンが注釈されている。信頼性の高い評価を可能にするため、DermLIP ベースの類似度指標を確立し、鑑別診断の質の評価において皮膚科医との整合性を強化する。22 の主要 LVLM をベンチマークすることで、診断精度、鑑別診断、臨床推論の分野で重大な欠陥が露呈する。ファインチューニング実験は、指示チューニングが性能を大幅に改善することを示す一方、Direct Preference Optimization (DPO) は最小限の利得しかもたらさない。体系的な誤差分析は、現在のモデルの推論能力における重大な制約をさらに明らかにする。