QuarkMedBench: 大規模言語モデルを評価するための現実世界シナリオ駆動型ベンチマーク

要約: 大規模言語モデル（LLMs）は標準化された医療試験において優れた成績を収める一方で、高得点が現実の医療クエリに対する高品質な回答へ必ずしも反映されないことが多い。現在の評価は主に多肢選択式の問題に大きく依存しており、実際のユーザー問合せに内在する、構造化されていない、曖昧で長尾の複雑さを捉え切れていない。このギャップを埋めるべく、実世界の医療LLM評価に適合した生態学的に妥当なベンチマークであるQuarkMedBenchを導入します。臨床ケア、ウェルネスと健康、専門的照会にまたがる巨大なデータセットを構築し、20,821件の単一ターンのクエリと3,853件のマルチターンセッションを含んでいます。自由回答形式の回答を客観的に評価するために、マルチモデルのコンセンサスと証拠に基づく検索を統合し、動的に220,617の細粒度の採点ルーブリックを生成する自動採点フレームワークを提案します（クエリあたり約9.8）。評価中には、階層的な重み付けと安全性制約が医療の正確性、要点の網羅、リスクの介入を体系的に定量化し、人間の評価の高コストと主観性を効果的に緩和します。実験結果は、生成されたルーブリックが臨床専門家のブラインド監査と91.8%の一致率を達成し、非常に信頼性の高い医療信頼性を確立していることを示しています。特に、このベンチマークにおけるベースライン評価は、実世界の臨床的ニュアンスを扱う際に最先端モデル間で顕著な性能差を示し、従来の試験ベースの指標の限界を浮き彫りにしています。結局、QuarkMedBenchは複雑な健康問題に対するLLMの性能を測定するための厳格で再現可能な基準を確立し、そのフレームワークはベンチマークの時代遅れを防ぐための動的な知識更新を内在的にサポートします。
返却形式: {"translated": "翻訳されたHTML"}