題目:MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning

要旨:大規模言語モデル（LLM）の継続的微調整（continual fine-tuning）は、タスクやデータ分布が時間とともに変化する動的な環境でこれらのモデルが配備されるにつれて、ますます重要になってきている。強い適応性は新しい知識の迅速な獲得を可能にする一方で、連続的な学習の過程で以前に獲得した能力が劣化してしまう、破滅的忘却（catastrophic forgetting）という問題をLLMにもたらす。固定されたインターリーブ再生（fixed interleaved replay）、精度に基づく教師あり（accuracy-supervised）、損失駆動のスケジューリング（loss-driven scheduling）といった既存のリプレイ（replay）ベースの戦略には限界がある。これらのいくつかは経験則に依存しており忘却の軽減が部分的にとどまるが、他のものは性能を改善しつつも、かなりの計算オーバーヘッドを伴う。本論文では、連続的微調整下における保持ダイナミクス（retention dynamics）に動機づけられ、メモリに着想を得たサンプラとスケジューラによるリプレイ（Memory-Inspired Sampler and Scheduler Replay: MSSR）を提案する。MSSRは、サンプルレベルのメモリ強度を推定し、破滅的忘却を緩和しながら高速な適応を維持するために、適応的な間隔でリハーサル（rehearsal）をスケジュールする、経験リプレイ（experience replay）フレームワークである。3つのバックボーンモデルと11の連続タスクにわたる大規模な実験の結果、MSSRは最先端のリプレイ基準手法を一貫して上回り、とりわけ推論集約型および複数選択（multiple-choice）のベンチマークで顕著な改善が見られた。

ブックマーク

書誌および引用ツール

この記事に関連するコード、データ、メディア

デモ

レコメンダーおよび検索ツール