大規模言語モデルの中間トレーニングによる放射線診断レポートの自動要約の改善

要約: 放射線診断レポートの自動要約は、医師の負担を軽減するための不可欠な応用です。従来の研究では、大規模言語モデル（LLMs）を要約のために適応させるのに「pre-training, fine-tuning」戦略が広く用いられてきました。本研究は、要約を改善するために中間訓練を通じたサブドメイン適応を提案しました。適応戦略を三つ探索しました：(1) 一般領域の事前学習、(2) 臨床領域の事前学習、(3) 臨床領域の事前学習に続くサブドメイン中間訓練。私たちはフロリダ大学 UF Health の大規模臨床テキストを用いてモデルを開発し、OpenI や MIMIC-CXR を含む広く用いられるベンチマークデータセットを用いて中間訓練と微調整の実験を実施しました。実験結果は、中間訓練を受けたモデルである GatorTronT5-Radio が最良の性能を達成し、中間訓練を行わなかったモデルよりも、テキストベースの指標（ROUGE-L）と事実性指標（RadGraph-F1）の双方で上回ることを示しました。私たちの中間訓練手法は、少数ショット学習の性能も向上させ、先行研究で学習の障壁として報告されている「コールドスタート」問題を緩和できる可能性があります。私たちの発見は、広く用いられている直接的なファインチューニング戦略の代わりに、「pre-training, mid-training, fine-tuning」を用いることを支持します。