高速な転移学習のためのニューラルネットワーク可塑性の復元

要旨: ImageNetで事前学習したモデルによる転移学習は、コンピュータビジョンにおける標準的な実践となっている。転移学習とは、通常はImageNetとは無関係な下流タスクに対して、ニューラルネットワークの事前学習済み重みを微調整することを指す。しかし、事前学習済みの重みは飽和してしまい、重要でない勾配しか得られず、下流タスクへ適応できないことがある。これはモデルが効果的に学習する能力を妨げ、一般にニューラル・プラスティシティの喪失（loss of neural plasticity）と呼ばれる。プラスティシティの喪失は、特に下流データセットが典型的でない性質を持つ場合に、モデルが目標ドメインへ十分に適応することを妨げ得る。この問題は継続学習（continual learning）の文脈で広く検討されてきた一方で、転移学習の文脈では依然として比較的研究が不足している。本研究では、微調整の前にニューラル・プラスティシティを回復するための、対象化された重みの再初期化戦略の利用を提案する。実験の結果、畳み込みニューラルネットワーク（CNN）とビジョントランスフォーマ（ViT）の両方がこのアプローチの恩恵を受け、いくつかの画像分類ベンチマークにおいて、より高いテスト精度とより速い収束を達成することが示された。本手法は計算オーバーヘッドがほとんど無く、一般的な転移学習パイプラインと互換性がある。