継続的自然言語処理システムの逐次タスク適応における壊滅的忘却緩和の比較実証研究

要旨：現実世界のアプリケーションで展開されるニューラル言語モデルは、以前に獲得した知識を忘れることなく、新しいタスクやドメインに対して継続的に適応しなければならない。
本研究は、継続的な意図分類における崩壊的忘却の緩和に関する比較的経験的研究を提示する。
CLINC150データセットを用いて、ラベルが10タスクで互いに独立しているシナリオを構築し、3つのバックボーンアーキテクチャを評価する：前向き伝播型人工ニューラルネットワーク（ANN）、ゲート付きリカレントユニット（GRU）、およびTransformerエンコーダを、さまざまな連続学習（CL）戦略の下で。
私たちは、主要なCLファミリーの各々から代表的な手法を1つずつ検討する：リプレイベースの最大干渉取得（MIR）、正則化ベースの忘却なし学習（LwF）、およびHard Attention to Task（HAT）によるパラメータ分離、個別におよび全ペア・トリプルの組み合わせで。
性能は平均精度、マクロF1、およびバックワード転送で評価され、タスク列全体にわたる安定性と可塑性のトレードオフを捉える。
我々の結果は、素の逐次ファインチューニングがすべてのアーキテクチャで深刻な忘却を引き起こすこと、そして単一のCL手法だけではそれを完全には防げないことを示している。
リプレイは重要な要素として浮上する：MIRは最も信頼性の高い個別戦略であり、リプレイを含む組み合わせ（MIR+HAT、MIR+LwF、MIR+LwF+HAT）は、最終的な性能を高く安定的に達成し、ほぼゼロ、またはやや正のバックワード転送を得る。
最適な構成はアーキテクチャ依存である。 MIR+HAT は ANN と Transformer で最良の結果をもたらし、MIR+LwF+HAT は GRU で最も良い結果を示し、他方、CL 手法はいくつかのケースで結合訓練を上回ることさえあり、正則化効果を示している。
これらの知見は、継続的な意図分類システムを設計する際に、バックボーンアーキテクチャと CL 機構を共同で選択することの重要性を強調している。