臨床NLPにおけるマルチタスク・プロンプト蒸留と分解によるパラメータ効率の高いトランスファーラーニング手法

要旨: 既存のプロンプトベースの微調整手法は、通常、タスク固有のプロンプトをそれぞれ独立に学習するため、複数の臨床向け自然言語処理（NLP）システムを大規模にデプロイする際に、計算・保存のオーバーヘッドが大きくなります。そこで本研究では、多タスクのプロンプト蒸留および分解フレームワークを提案します。これは、21の多様な臨床ソースタスクから単一の共有メタプロンプトを学習し、0.05%未満の学習可能パラメータで未見のターゲットタスクに適応します。5種類の臨床NLPタスク種別（固有表現認識、関係抽出、質問応答、自然言語推論、要約）において、3つのバックボーンモデル（LLaMA 3.1 8B、Meditoron3 8B、gpt-oss 20B）で、10個のホールドアウトしたターゲットデータセットを用いて評価したところ、本フレームワークは、桁違いに少ないパラメータにもかかわらず一貫してLoRAを1.5〜1.7%上回り、さらに単一タスクのプロンプトチューニングを6.1〜6.6%上回ります。gpt-oss 20Bモデルは、特に臨床推論タスクにおいて、全体で最高の性能を達成しました。強力なゼロショットおよび少数ショット性能は、共有プロンプト表現のより良い転移可能性を示しています。