スパース・メモリ・ファインチューニングの改善
arXiv cs.LG / 2026/4/8
📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research
要点
- この論文は、大規模言語モデル（LLM）に対する継続的な適応を、壊滅的忘却（catastrophic forgetting）なしで実現することを扱っている。共有された密な重みを更新するのではなく、学習更新を小さなパラメータの部分集合に局所化することで対応する。
- 事前学習済みモデル（Qwen-2.5-0.5B）に対して、明示的なスパース・メモリ・モジュールを後付けし、継続学習を可能にするためのオープンソースのSparse Memory Finetuning（SMF）パイプラインを提案する。
- 著者らは、KLダイバージェンスに基づく理論的に動機づけられたスロット選択メカニズムを導入し、「驚きの大きい」トークンと背景分布との間の差に応じて、メモリ更新の対象を定める。
- 実験では、後付けしたモデルが最小限の忘却で、保持している能力を維持しつつ新しい事実知識を学習できることが示され、スパース更新アプローチの実用性と有効性が裏付けられる。
- 本手法はコンシューマー向けのハードウェアでも実現可能であると位置づけられており、現実世界での継続学習の導入障壁を下げる。
