RadAnnotate: 効率的で信頼性の高い放射線診断レポート注釈のための大規模言語モデル

概要: 放射線診断レポートのアノテーションは臨床NLPにとって不可欠ですが、手動ラベリングは遅くコストがかかります。私たちはRadAnnotateを提示します。これは、検索強化型の合成レポートと信頼度ベースの選択自動化を研究するLLMベースのフレームワークで、RadGraphにおけるラベリングの専門家の労力を軽減します。RadGraphスタイルのエンティティラベリング（グラフノード）を研究し、リレーション抽出（エッジ）は今後の課題とします。まず、金標準レポート上でエンティティ特異的な分類器を訓練し、解剖学および観察カテゴリ全体における強みと故障モードを特徴づけ、学習が最も難しいのは不確かな観察です。次に、RAG誘導の合成レポートを生成し、合成のみのモデルが金標準で訓練されたモデルと1〜2F1ポイントの差内に留まること、そして低リソース設定において不確かな観察に対する合成増強が特に有用であり、F1を0.61から0.70へ改善することを示します。最後に、エンティティ特異的な信頼閾値を学習することにより、RadAnnotateは0.86-0.92のエンティティマッチスコアで55-90%のレポートを自動的にアノテーションし、低信頼ケースを専門家レビューへ振り分けます。