Less is More：少量データでのLLM向け幾何学的アンラーニング（Geometric Unlearning）

arXiv cs.CL / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本稿は、実運用されたLLMに対して、特定の機微情報を事後的に除去しつつ汎用性を維持するためのアンラーニングの必要性を扱っています。
その解決として、Geometric Unlearning（GU）を提案し、元の学習コーパスへのアクセスを前提とせず、プロンプト時の計画（プランニング）状態に基づいて整合させます。
GUは少数の安全な参照プロンプトから、望ましい安全行動のコンパクトな低ランクの「幾何」を蒸留し、軽量なアンカー付きの文脈内合成プロンプトで局所的な整合を引き起こします。
合成の非ターゲットアンカーに対して教師蒸留型の正則化を行い、巻き添えのドリフトを抑えて非対象知識への影響を減らします。
ToFUおよびUnlearnPIIのプライバシー重視ベンチマークで、限られた合成データでターゲットの抑制効果が高く、非ターゲットの性能低下が小さいことが示されました。