パラメータ効率の高い臨床テキスト分類のためのGPTアーキテクチャの選択的ファインチューニング

Abstract

電子カルテ（EHR）システムの急速な拡大は、病気の識別、患者コホートの発見、臨床意思決定支援に有用な情報を含む未構造臨床記述の大量な生成を生んでいます。これらの自由記述文書から構造化された知識を抽出することは依然として困難です。なぜなら臨床言語は高度に専門化され、ラベル付きデータセットは限られており、大規模事前学習言語モデルの完全なファインチューニングにはかなりの計算リソースが必要となるからです。したがって、実用的な臨床自然言語処理アプリケーションには効率的な適応戦略が不可欠です。本研究は、臨床テキスト分類タスクにGPT-2を適応させるための、パラメータ効率の高い選択的ファインチューニングのフレームワークを提案します。全ての事前学習済みモデルを更新する代わりに、ネットワークパラメータの大部分を凍結し、訓練中に更新されるのは最終のトランスフォーマーブロック、最終のレイヤー正規化モジュール、および軽量な分類ヘッドのみです。この設計は、事前学習中に学習した文脈表現能力を保持しつつ、学習可能なパラメータの数を実質的に削減します。提案手法は、CheXpertスタイルのラベルを自動的に導出したMIMIC-IV-Noteデータセットを用いた放射線科レポートで評価されました。50,000件の放射線科レポートを対象とした実験により、選択的ファインチューニングは、モデルパラメータの6％未満を更新しつつ、約91％の分類精度を達成することが示されました。ヘッドのみの訓練と全モデルのファインチューニングを比較する実験は、提案手法が予測性能と計算効率の間で有利なバランスを提供することを示しています。これらの結果は、選択的ファインチューニングが臨床テキスト分類のための効率的でスケーラブルなフレームワークを提供することを示しています。