SVDベースのLoRAによる継続的機械アンラーニングのための直交部分空間投影

arXiv cs.LG / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、複数の連続した削除要求を扱う継続的機械アンラーニングを扱い、保持すべき知識を消去せずに対応することを目的とする。
それは、複数の連続したLoRAモジュールを単純に結合すると、パラメータの衝突やタスク間の強い干渉が生じると主張する。
提案手法は、SVDに導かれた直交部分空間への射影により、各新しいLoRA更新が、これまでのアンラーニングタスクで使用された部分空間の直交補空間に属するように制約する。
CIFAR-100（ResNet-20）およびMNISTでの実験により、長いアンラーニング列に対して性能が安定し、静的フュージョンで見られる干渉を回避できることが示される。
30件の連続的なアンラーニングタスクの設定において、本手法はベースラインの保持精度（約58.1%）を維持しつつ、強力なアンラーニング有効性を達成し、SOTAの静的フュージョン（60.39% → 12.70%）を上回る。

要旨: 連続的な機械アンラーニングは、保持すべきでないデータの影響を取り除きつつ、それ以外のすべてに関してモデルの有用性を維持することを目指します。この設定は、削除要求が逐次的に到来する場合に特に難しくなります。なぜなら、モデルは、以前に保持した知識を消し去ることなく、繰り返し適応する必要があるからです。低ランク適応（LoRA）は、このような更新を効率的に実装する方法を提供しますが、素朴に多くの逐次LoRAモジュールを組み合わせると、パラメータの衝突が生じ、タスク間で\textit{強い干渉}が起こります。我々は、特異値分解（SVD）に導かれた直交部分空間への射影に基づく静的な代替手法を提案します。本手法では、トレーニング中の各新しいLoRA更新が、先行するアンラーニングタスクで使用された部分空間の直交補空間に入るように制約します。これにより、デプロイ時に動的ルーティングを必要とせずにタスクの分離性を維持できます。CIFAR-100でResNet-20を用いた実験と、MNISTでの実験により、アンラーニングタスクの長い逐次列にわたって安定した挙動が示されます。30回の逐次アンラーニングタスクの後、最先端の静的融合は保持精度を60.39\%から12.70\%へと低下させるのに対し、提案する学習時の制約付き最適化は、基準性能（ $\sim$ 58.1\%）を維持しつつ、強いアンラーニング有効性を保持します。