ガイド付きランダム投影による事前学習済みモデルベースの継続表現学習の強化

概要: Random Projection Layer (RPL) に基づく継続表現学習は、事前学習済みモデル（PTM）を基盤とした場合に優れた性能を示している。これらの手法は、初期段階で特徴表現を向上させるために、PTMの後にランダムに初期化されたRPLを挿入する。その後、継続学習段階では解析的更新のために線形分類ヘッドを用いる。しかし、事前学習表現とターゲットドメインとの間に著しいドメインギャップがある場合、ランダムに初期化されたRPLは大きなドメインシフトの下で表現力が限られる。RPL の次元を大幅に拡大すると表現力は向上する可能性がある一方で、悪条件の特徴行列を生み出し、線形ヘッドの再帰的な解析更新を不安定化させる。この目的のために、MemoryGuard監視機構を備えた確率的継続学習者（Stochastic Continual Learner with MemoryGuard Supervisory Mechanism、SCL-MGSM）を提案する。ランダム初期化とは異なり、MGSMは原理的でデータに基づく機構を用いて射影層を構築し、順次ターゲットに適合したランダム基底を選択してPTMの表現を下流タスクへ適応させる。これにより、コンパクトでありながら表現力のあるRPLの構築を促進し、解析更新の数値的安定性を向上させる。複数の例示なしクラスインクリメンタル学習（CIL）ベンチマークにおける広範な実験は、SCL-MGSMが最先端の手法と比較して優れた性能を達成することを示している。