継続学習において構造はいつ重要になるのか？次元数がモジュール性と表現幾何の関係を左右する

Abstract

既に学習された表現を保持するために、継続学習システムは、可塑性（新しい知識を獲得する能力）と安定性のバランスを取らなければなりません。この安定性-可塑性のジレンマは、タスク間で表現を再利用できる方法に影響します。共有された構造はタスクが類似している場合には転移を可能にしますが、新しい学習が既存の表現を壊すことで干渉を誘発することもあります。しかし、構造的分離がこのトレードオフに対して「いつ」「なぜ」影響するのかは依然として不明です。本研究では、転移-干渉研究に触発された逐次タスクのパラダイムにおいて、ネットワークのアーキテクチャ、タスクの類似性、表現の次元性が学習をどのように共同で形作るかを調べます。タスク分割されたモジュール型リカレントネットワークと、単一モジュールのベースラインを比較し、タスク類似性（低・中・高）と、重み初期化のスケール（異なる学習レジームを生み、それを経験的に、学習された表現の有効次元性を通じて特徴づけます）を体系的に変化させます。その結果、表現が十分に制約されず、強い干渉なしに複数タスクに対応できる高次元レジームでは、アーキテクチャの影響は最小であることがわかりました。対照的に、低次元（豊かな）レジームでは、アーキテクチャ上の分離が決定的です。モジュールネットワークは、類似タスクではタスク固有サブスペースの段階的な整合（アラインメント）と重なりを示し、中程度に非類似なタスクでは部分的な直交化を示し、非類似なタスクではより強い分離を示します。この段階的な幾何学的性質は、単一ネットワークのベースラインには見られません。本研究の発見は、表現の次元性が、構造的分離が機能的に関連し始める「時」を左右する重要な組織化変数であることを示唆しており、継続学習システムを設計するための中心原理として適応的な幾何（adaptive geometry）を強調します。