継続学習へのより高速な道

概要: 連続学習（CL）は、既に学習した知識を忘れないまま、タスクの動的なストリームに対してニューラルネットワークを学習することを目的とします。最適化ベースのアプローチの中でも、C-Flatは、プラグアンドプレイとして利用できる点と、新旧のタスクの両方に対して一様に低い損失領域を促す能力がある点から、有望な解決策として登場しました。しかし、C-Flatは反復ごとに追加で3回の勾配計算を必要とし、最適化プロセスに大きなオーバーヘッドを課します。本研究では、訓練コストを大幅に削減しつつ、より高速でありながら強力なオプティマイザであるC-Flat Turboを提案します。一次のフラットネスに関連する勾配には、プロキシモデルの勾配に対して方向不変な成分が含まれることを示し、そのため、摂動を加えた上昇ステップにおいて冗長な勾配計算を省略できることを明らかにします。さらに、フラットネスを促進する勾配がタスクをまたいで段階的に安定化していくことを観察し、後続タスクに対してより大きなターボステップを割り当てるための、適応的なトリガーを伴う線形スケジューリング戦略を動機づけます。実験の結果、C-Flat Turboは幅広いCL手法の範囲においてC-Flatよりも1.0\timesから1.25\times高速である一方、同等、あるいは改善された精度を達成することが示されます。