秩序から分布へ：継続学習における忘却のスペクトル的特徴付け

要旨: 連続学習における中心的な課題は忘却（forgetting）であり、新しい課題への逐次的な適応によって引き起こされる、以前に学習した課題における性能の低下です。忘却は経験的に広く研究されてきましたが、厳密な理論的な特徴づけは依然として限られています。この方向性における注目すべき一歩として、固定された課題コレクションをランダムな順序で提示する下での忘却を、過パラメータ化された線形回帰のもとで解析した
\citet{evron2022catastrophic} があります。本研究では、順序から分布へと視点を移します。固定された課題コレクションがランダムな順序の下でどのように振る舞うかを問うのではなく、課題が課題分布~\Pi から i.i.d.（独立同分布）でサンプリングされる、厳密に適合する（exact-fit）線形の設定を考え、その生成分布そのものが忘却をどのように支配するかを問います。この設定において、忘却量に対する厳密な演算子恒等式を導出し、再帰的なスペクトル構造を明らかにします。この恒等式を土台として、無条件の上界を確立し、支配的な漸近項を同定し、さらに一般的な非退化（nondegenerate）の場合には定数の範囲まで収束率を特徴づけます。さらに、この収束率を課題分布の幾何学的性質に結びつけることで、本モデルにおいて遅い忘却・速い忘却を駆動する要因を明確化します。