臨床向けクラスレベル忘却のためのパラメータ効率的トークン埋め込み編集

要約：
機械的な忘却（マシン・アンラーニング）は、臨床言語モデルにとってますます重要になっており、プライバシー規制や機関の方針により、スクラッチから再学習を行わずにデプロイ済みのシステムから機微情報を削除する必要がある場合があります。実務上、削除リクエストは対象情報の効果的な忘却と、モデルの有用性の保持および最小限のパラメータ変更とのバランスを取らなければなりません。私たちはSparse Token Embedding Unlearning（STEU）を紹介します。これは、PMIで選択されたトークン埋め込みのみを更新し、小さな分類ヘッドとともに更新する、エンコーダ層をすべて凍結したまま行う、パラメータ効率の高い挙動クラスレベルの忘却手法です。BioClinicalBERT、BERT-base、DistilBERTを用いたMIMIC-IV、MIMIC-III、eICUの実験全体を通じて、STEUはターゲットクラスを一貫して抑制しつつ、保持されたタスク性能を大部分維持します。主要なMIMIC-IV設定では、STEUはほぼ完全な忘却を達成し（忘却F1 = 0.0004）、同時に競争力の高い保持有用性を維持します（保持平均F1 = 0.4766）、モデルパラメータの0.19％のみを変更した状態です。これらの結果は、深いエンコーダ表現を変更せずに、疎な埋め込み編集を通じてターゲットを限定した挙動忘却を達成できることを示唆しています。