微調整レジームが異なる継続学習問題を定義する

arXiv cs.LG / 2026/4/24

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、継続学習の評価では微調整レジーム（学習可能なパラメータ部分空間）を、固定された条件ではなく明示的な実験変数として扱うべきだと主張している。
それは、適応レジームを固定された学習可能部分空間上の射影最適化として定式化し、学習可能な深さを変えると、新規タスク学習と知識保持の両方に作用する更新信号が変化することを示している。
MNIST、Fashion MNIST、KMNIST、QMNIST、CIFAR-100の各データセットで、5つの学習可能深さレジームと4つの手法（online EWC、LwF、SI、GEM）を用いた実験の結果、手法の相対順位がレジーム間で一貫しないことが分かった。
深い適応レジームほど更新の大きさが増え、忘却も大きくなり、更新量と忘却の関係も強まることが示されている。
総じて、本結果は訓練可能な深さを因子として扱う「レジームに配慮した評価プロトコル」の必要性を後押しし、手法比較の結論が誤解を招く可能性を減らすことを提案している。

Abstract

継続学習（CL）研究は、モデルが過去に学習した知識を保持しながら、タスクを逐次的に獲得する方法を扱います。CL手法のベンチマークにおいては大きな進展が見られる一方で、比較評価では一般に微調整のレジーム（微調整手順）が固定されたまま行われます。本論文では、学習可能なパラメータの部分空間によって定義される微調整レジームそのものが、重要な評価変数であると主張します。本論文では、適応レジームを、固定された学習可能部分空間上での射影された最適化として形式化し、学習可能な深さを変えることが、現在のタスクへの適合と知識保持の両方が作用する有効な更新信号を変化させることを示します。この分析は、手法同士の比較はレジーム間で不変である必要はない、という仮説を導きます。私たちは、この仮説をタスク増分CLにおいて検証し、5つの学習可能深さレジームと、4つの標準的な手法（オンラインEWC、LwF、SI、GEM）を用います。5つのベンチマークデータセット、すなわちMNIST、Fashion MNIST、KMNIST、QMNIST、CIFAR-100、および各データセットにつき11通りのタスク順序にわたって調べたところ、手法の相対的な順位付けはレジーム間で一貫して保持されないことが分かりました。さらに、より深い適応レジームは、より大きい更新の大きさ、より高い忘却、そして両者の間におけるより強い関係と関連していることを示します。これらの結果は、CLにおける比較結論が、選択した微調整レジームに強く依存し得ることを示しており、学習可能深さを明示的な実験要因として扱う、レジームを考慮した評価プロトコルの必要性を動機づけます。