MADE：不確実性定量化付きの医療機器有害事象を対象としたマルチラベル文章分類のための“生きた”ベンチマーク

概要: 医療などの高リスク領域における機械学習は、強力な予測性能だけでなく、人間による監督を支えるための信頼できる不確実性定量化（UQ）も必要とします。マルチラベルテキスト分類（MLTC）はこの領域における中核的な課題ですが、ラベルの不均衡、依存関係、組合せの複雑さにより依然として難しいままです。既存のMLTCベンチマークはますます飽和しており、学習データの汚染の影響を受けている可能性があります。そのため、本物の推論能力と単なる暗記を見分けることが困難です。私たちは、{m}edical device {ad}verse {e}vent（医療機器有害事象）報告から生成され、汚染を防ぐために新しく公開された報告で継続的に更新される、生きたMLTCベンチマークであるMADEを導入します。MADEは階層ラベルの長い裾（ロングテール）分布を特徴とし、厳格な時系列分割によって再現可能な評価を可能にします。私たちは、微調整および少数ショット設定（instruction-tuned/推論バリアント、ローカル/ローカルまたはAPIでアクセス可能）において、20以上のエンコーダのみ/デコーダのみモデルにまたがるベースラインを確立します。エントロピー／一貫性に基づく手法、および自己記述（自己による言語化）されたUQ手法を体系的に評価します。結果は明確なトレードオフを示します。すなわち、より小さな識別的に微調整されたデコーダは、競争力のあるUQを維持しつつ、head-to-tail（頭部から末尾への）精度で最も強い性能を示します。生成的微調整は最も信頼できるUQを提供します。大規模な推論モデルは稀なラベルでの性能を向上させる一方で、驚くほど弱いUQを示します。また、自己記述された確信度は不確実性の信頼できる代理指標ではありません。私たちの研究は https://hhi.fraunhofer.de/aml-demonstrator/made-benchmark で公開されています。