分離型エキスパート・アーキテクチャ：結合可能なアダプタと削除可能なユーザープロキシによるプライバシー保護LLMパーソナライズ
arXiv cs.AI / 2026/4/25
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- 論文は、従来のLLMパーソナライズではユーザーデータが共有重みに組み込まれるため、個別のデータ削除が再学習なしではほぼ不可能だと主張しています。
- 「Separable Expert Architecture」は、静的なベースモデル、結合可能なドメインエキスパートのLoRAアダプタ、そしてユーザーごとのプロキシ成果物を組み合わせることで、ユーザーのプロキシを削除すれば決定論的にアンラーニングが成立する三層構成を提案しています。
- Phi-3.5-mini と Llama-3.1-8B での評価では、個人データが出力に影響しつつユーザー間の強い隔離が維持され、プロキシ削除後にベースラインへ復帰することが示されています。
- 著者らは、個人情報が共有重みに入らないため、モデル反転（model inversion）やメンバーシップ推論、学習データ抽出といったプライバシー攻撃を設計上軽減できると述べています。
- この手法は「機械的アンラーニング」を、困難な重み編集問題ではなく決定論的な削除操作として捉え直し、共有モデルのプライバシー保護学習にDP-SGDとも両立できると位置づけています。
