MedMT-Bench：医療シナリオにおいてLLMは長い多回ターンの会話を記憶し理解できるか？

Abstract

大規模言語モデル（LLM）は、さまざまな専門領域において目覚ましい能力を示し、医学のような高リスク領域にも統合されてきました。しかし、既存の医療関連ベンチマークは、実運用で求められる長文コンテキストの記憶、干渉への頑健性、安全防御をほとんどストレステストしていません。このギャップを埋めるために、診断から治療までの一連のプロセス全体を模擬する、挑戦的な医療マルチターン指示追従ベンチマークであるMedMT-Benchを導入します。ベンチマークは、シーンごとのデータ合成に対して手動の専門家編集を施すことで構築し、実世界の適用シナリオと高度に整合した400件のテストケースを作成しました。各テストケースは平均22ラウンド（最大52ラウンド）で、指示追従に関する困難な問題の5種類をカバーします。評価のために、インスタンスレベルのルーブリックと原子的なテストポイントを用いた「LLMを裁定者（judge）とする」プロトコルを提案し、専門家による注釈に基づいて検証しました。その際の人間-LLM間の一致率は91.94\%でした。私たちは17の最前線モデルをテストしましたが、いずれもMedMT-Benchでは性能が不十分でした（総合精度は60.00\%未満）。最良のモデルでも59.75\%にとどまりました。MedMT-Benchは、より安全で信頼性の高い医療AIへ向けた今後の研究を推進するための重要なツールとなり得ます。このベンチマークは https://openreview.net/attachment?id=aKyBCsPOHB&name=supplementary_material で利用可能です