BID-LoRA: 継続学習とアンラーニングのためのパラメータ効率の高いフレームワーク
arXiv cs.LG / 2026/4/15
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、継続学習（CL）を行いながら、古くなった情報や機密情報を削除（機械アンラーニング、MU）しつつ、これまでに獲得した知識を損なわない統一システムの不足を指摘している。
- 既存の継続学習手法とアンラーニング手法を単純に組み合わせるだけでは、知識の漏えいが起こり、反復する適応サイクルを重ねるごとに劣化が徐々に進行し得ることを示す。
- 著者らは、「Continual Learning Unlearning（CLU）」を、正確な削除、効率的な知識統合、そしてサイクルを跨いだ漏えいの最小化を目的とする形で形式化する。
- 3つのアダプタ経路（retain=保持、新規、unlearn=忘却）を注意層に用いることでBID-LoRAを提案し、さらに「逃避（escape）アンラーニング」機構により、保持される知識から忘却クラスの埋め込みを大きく遠ざけつつ、更新するのは全パラメータの約5%にとどめる。
- CIFAR-100およびCASIA-Face100での実験では、BID-LoRAが複数サイクルにわたってCLUのベースラインを上回ることを示し、ユーザを登録し、必要に応じて削除（removed）する必要があるアイデンティティ管理ワークフローへの適用が見込まれる位置づけとなっている。
