医療における「LLM-as-a-Judge（審判）」のスコーピングレビューとMedJUDGEフレームワーク

要旨: 大規模言語モデル（LLM）が臨床テキストを生成し処理することがますます増えるにつれ、スケーラブルな評価が重要になってきている。モデル出力を評価するためにLLMを用いるLLM-as-a-Judge（LaaJ）は、高コストな専門家レビューに代わるスケーラブルな手法を提供するが、ヘルスケア分野での導入には安全性およびバイアスに関する懸念がある。私たちは6つのデータベース（2020年1月〜2026年1月）を対象としたPRISMA-ScRのスコーピングレビューを実施し、11,727件をスクリーニングして49件を含めた。領域の中心は、評価およびベンチマーク用途（n=37、75.5%）、点ごとのスコアリング（n=42、85.7%）、GPTファミリーのジャッジ（n=36、73.5%）であった。導入が拡大しているにもかかわらず、妥当性検証の厳密さは限定的だった。人の関与があった36件の研究のうち、専門家バリデータの中央値は3であり、13件（26.5%）ではそれらを用いていなかった。バイアスのリスク検証は36件（73.5%）で存在せず、人口統計学的公正性を調べたのは1件（2.0%）のみで、時間的安定性または患者文脈はどれも評価されていなかった。デプロイメントは限定的で、1件（2.0%）のみが本番環境に到達し、4件（8.2%）がプロトタイプ段階だった。重要なのは、これらの欠落が相互作用しうる点である。すなわち、ジャッジと評価対象システムが学習データやアーキテクチャを共有している場合、同様の盲点を継承する可能性があり、合意（アグリーメント）指標では、共有された誤りが原因の妥当性を真の妥当性と区別できないことがある。最小限の人的監督、限定的なバイアス評価、そしてモデルの単一文化（モノカルチャー）が組み合わさることで、現在の検証が臨床的に重要な誤りを見落としうるという統治（ガバナンス）のギャップが生じている。これに対処するため、私たちはMedJUDGE（Medical Judge Utility、De-biasing、Governance and Evaluation）を提案する。これは、臨床リスクのティアをまたいで妥当性・安全性・説明責任（アカウンタビリティ）を中心に編成された、リスク階層化された3本柱のフレームワークであり、ヘルスケア向けLaaJシステムに対するデプロイメント志向の評価ガイダンスを提供する。