細粒度構造化放射線報告のためのプロトタイプベース知識ガイダンス

構造化放射線報告は自由記述よりも迅速で一貫したコミュニケーションを約束する一方で、限られた構造化監督下で珍しい所見や属性について多数の細かな、離散的な判断をモデルが下す必要があるため、自動化は依然として難しい。これに対し、自由記述の報告は通常の医療現場で大規模に生成され、詳細な記述を通じて細粒度の画像連携情報を暗黙のうちにエンコードする。 この非構造化知識を活用するために、我々は ProtoSR を提案する。これは自由記述情報を構造化報告の母集団へ注入するアプローチだ。まず、指示チューニング済みLLMを用いて8万件を超えるMIMIC-CXR研究を採掘し、構造化報告テンプレートに整列したマルチモーダル知識ベースを構築し、各回答オプションを視覚的プロトタイプで表現する自動抽出パイプラインを導入する。この知識ベースを用いて、ProtoSR は現在の画像-質問ペアに関連するプロトタイプを取得し、プロトタイプ条件付き残差を通じてモデル予測を増強し、予測を選択的に正すデータ駆動型のセカンドオピニオンを提供する。 Rad-ReStruct ベンチマークで、ProtoSR は最先端の結果を達成し、特に詳細属性の質問で最大の改善を示し、自由記述由来の信号を統合する価値を細粒度の画像理解に対して示している。