大規模言語モデルにおける継続学習：手法・課題・機会

概要: 継続学習（CL）は、現代のLLMに内在する静的な事前学習パラダイムの根本的な制約を緩和しつつ、進化する知識と連続的なタスクに対して巨大言語モデル（LLMs）を動的に適応させるための重要なパラダイムとして浮上してきました。
本調査は、LLMsに特化したCL手法の包括的な概観を提示し、3つの中核的訓練段階で構成されています：継続的事前学習、継続的ファインチューニング、継続的整合。
リハーサル法、正則化法、アーキテクチャベース法という標準的な分類を超えて、各カテゴリをそれぞれの異なる忘却緩和機構でさらに細分化し、伝統的なCL手法がLLMsに対してどの程度適応性と重要な改善を示すかを厳密に比較分析します。
この過程で、LLM CLと従来の機械学習との間の核となる差異を、特にスケール、パラメータ効率、そして出現的能力の観点から明示的に強調します。
我々の分析は、忘却率や知識伝達効率を含む重要な評価指標、並びにCLパフォーマンスを評価するための新興ベンチマークを網羅します。
本調査は、現在の手法が特定の領域で有望な結果を示す一方で、さまざまなタスクと時間的スケールにまたがるシームレスな知識統合を実現するうえで根本的な課題が依然として存在することを示しています。
この系統的なレビューは、LLM適応に関する知識の蓄積に貢献し、研究者と実務者に対して、言語モデルの生涯学習における現在の成果と今後の機会を理解するための構造化されたフレームワークを提供します。