ゴースト機構：反復型ニューラルネットワークにおける急な学習の解析モデル

アブストラクト：作業記憶タスクで訓練された反復型ニューラルネットワーク（RNN）では、急な学習（abrupt learning）が一般的な現象として現れる。このような場合、ネットワークは状態空間上に一時的な遅い領域を形成し、それによって計算の有効なタイムスケールが延びる。しかしながら、急激な性能向上を駆動するメカニズムと、それらの因果的役割は依然として不明である。このギャップに対処するために、本稿ではゴースト機構（ghost mechanism）を導入する。これは、動的システムが鞍結節分岐（saddle-node bifurcation）の残り（remnant）付近で一時的に減速することを特徴とするプロセスである。ゴースト点近傍での高次元ダイナミクスを減じることで、学習を単一のスケール・パラメータによって制御される過程として解析的に捉える1次元の標準形（canonical form）を導出する。このモデルを用いて、ゴースト点から生じる一種の急な学習を調べ、学習済み計算のタイムスケールに対して逆べき乗則としてスケールする臨界学習率を同定する。この率を超えると、学習は2つの相互作用するモードによって破綻する：(i) 勾配の消失と (ii) 極小（minima）近傍での振動的な勾配である。これらの特徴は、パラメータ更新が勾配が消える学習不能領域（no-learning zone）—すなわち勾配が消失するパラメータ空間の領域—を引き起こすと、システムを高い確信度を持つが誤った予測にロックしてしまう可能性がある。これらの予測を低ランクRNNで検証し、そこではゴースト点が急な遷移に先行することを示す。さらに、標準的な作業記憶タスクで訓練したフルランクRNNにおいても、その一般性を実証する。我々の理論は、これらの学習困難に対処するための2つのアプローチを提供する。すなわち、訓練可能なランクを増やすことで学習軌道を安定化させること、そして出力の確信度を下げることで学習不能領域への閉じ込めを緩和することである。総じて、ゴースト機構は、タスクの計算要求が最適化風景（optimization landscape）をどのように制約するかを明らかにし、RNNでよく知られた学習の困難が、部分的にはそれらが実装しなければならない動的システムに起因していることを示す。