JumpLoRA：大規模言語モデルにおける継続学習のためのスパース・アダプタ

Abstract

アダプタベースの手法は、大規模言語モデル（LLM）に対する継続学習（CL）を、各タスクごとに低ランク更新行列を順次学習することで、費用対効果の高いアプローチとして確立しつつある。壊滅的忘却を抑えるために、最先端のアプローチでは、新しいアダプタに対して、従来のアダプタに関する制約を課すことで対応している。具体的には、部分空間への干渉、または座標ごとの干渉のいずれかを対象としている。本論文では、JumpReLU ゲーティングの利用によって、低ランク適応（LoRA）ブロックにおけるスパース性を適応的に誘導する新しい枠組み JumpLoRA を提案する。この手法は動的なパラメータ分離を実現し、タスク間の干渉の防止に役立つ。さらに本手法が高度にモジュール化されており、LoRA ベースの CL アプローチと互換性があることを示す。具体的には、IncLoRA の性能を大きく向上させ、最先端の継続学習手法である ELLA を上回る。