微分可能な抵抗ネットワークにおける逐次学習と壊滅的忘却

arXiv cs.LG / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本研究は、辺の導電率を学習可能なパラメータとし、キルヒホッフの法則に従う平衡条件のもとで勾配法により最適化する、微分可能な抵抗ネットワークの逐次学習を調べる。
個々の入出力対応は学習できる一方で、相反するタスクを連続して学習すると壊滅的忘却が生じることを示す。
忘却はタスク間の対立度と、新タスクへの適応度の両方により制御され、アンカーリング手法は忘却を抑える代わりに新タスクでの最終損失を増やすという「忘却–適応」のトレードオフが明確に現れる。
忘却は高電流の辺での導電率の局所的な変化と結び付いており、支配的な輸送経路の再構成として解釈できることを示唆する。
ランダム・タスク集合や複数のグラフ位相（Erdős–Rényi、小世界、スケールフリー、ランダム幾何）にわたる比較から、2つ目のタスクが1つ目で課された出力順序を反転させると最も強い忘却が起き、位相は忘却–適応バランスに影響することが分かる。