臨床AI評価のための症例別ルーブリック：方法論、検証、823件の診療におけるLLMと臨床家の一致

概要: 目的。臨床AIドキュメンテーションシステムには、臨床的に妥当で、経済的に実行可能であり、反復的な変更に対しても敏感である評価手法が必要である。採点の各インスタンスごとに専門家によるレビューを要する手法は、安全に反復展開するためには遅すぎ、かつ高価すぎる。我々は、臨床AI評価のための、症例ごとであり臨床家が作成したルーブリック手法を提示し、LLMが生成したルーブリックが臨床家の合意をどの程度近似できるかを検討する。
材料と方法。20名の臨床家が、823の臨床ケース（736件が実世界、87件が合成）に対して1,646件のルーブリックを作成した。対象領域はプライマリ・ケア、精神医学、腫瘍学、行動保健である。各ルーブリックは、LLMベースの採点エージェントが一貫して、採択された（臨床家が好む）出力を、不採択（却下）されたものより高くスコア付けすることを確認することで検証した。EHRに組み込まれた臨床家向けAIエージェントの7つのバージョンを、すべてのケースにわたって評価した。
結果。臨床家が作成したルーブリックは、高品質と低品質の出力を効果的に識別した（中央値のスコア差: 82.9%）高いスコア安定性も示された（中央値の範囲: 0.00%）。中央値のスコアは84%から95%へ改善した。後続の実験では、臨床家-LLMの順位付け一致（tau: 0.42-0.46）が、臨床家-臨床家の一致（tau: 0.38-0.43）を同等または上回った。これは、天井効果による圧縮と、LLMルーブリックの改善の両方に起因すると考えられる。
考察。この収束は、LLMルーブリックを臨床家が作成したルーブリックと並行して組み込むことを支持する。約1,000分の1のコストで、LLMルーブリックは評価のカバレッジを大幅に拡張する。一方で、臨床家による継続的な作成により、評価は専門家の判断に根ざす。天井効果による圧縮は、今後の評価者間一致研究における方法論上の課題となる。
結論。症例ごとのルーブリックは、専門家の判断を維持しつつ、3桁低コストで自動化を可能にする臨床AI評価の道筋を提供する。臨床家が作成したルーブリックは、LLMルーブリックが検証されるためのベースラインを確立する。