NORACL：オラクル不要のリソース適応型継続学習のための神経新生（Neurogenesis）
arXiv cs.LG / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、継続学習における安定性–可塑性のジレンマを、固定容量ネットワークが将来のタスク数や特徴空間での重なりを事前に把握できないことに起因する「アーキテクチャ上の問題」として整理している。
- 正則化ベースの手法は、未知の将来に合わせた「オラクル級のモデル容量」を暗黙に前提としているため、タスク同士が弱く関連する場合には可塑性が尽き、逆にタスクが少ない/強く重なっている場合には過剰に準備してしまうと主張する。
- NORACLは生物学の神経新生に着想を得て、表現飽和と可塑性飽和の2つの補完的な信号を監視しながら、必要なときだけニューロンを増やすことでこの問題に対処する。
- 実験では、タスク数や幾何（タスクの配置/関係）を変えた条件で、NORACLをオラクルサイズの固定基準モデルと比較し、より少ないパラメータでありながら最終的な平均精度が同等以上になることを示している。
- 解釈可能性と分析により、成長が構造的に整理されており、非類似タスクは主に初期の特徴抽出層を拡張し、共通特徴に依存するタスクは後段の特徴結合層へと成長がシフトすることで、新しいタスクのための新たな容量を作れることを説明している。
