EMA はそれだけではない：反復文脈における構造とコンテンツの境界をマッピングする

Abstract

効率の良いシーケンスモデルは、単純な時間平均に比べて正確に何を得るのでしょうか？本研究では、指数移動平均（EMA）トレースを、最も単純な再帰的コンテキスト（ゲーティングなし、内容に基づく検索なし）として用い、固定係数の蓄積が表現できるもの／できないものの境界を対応付けるための制御されたプローブとします。EMAトレースは時間構造をエンコードします。多時尺度トレースを備えたヘブ型アーキテクチャは、ラベルなしで文法的役割付与において教師ありBiGRUの96%を達成し、構造依存の役割に関しては教師ありモデルを上回ります。EMAトレースはトークンの同一性を破壊します。EMAコンテキストのみを用いる1.3億パラメータの言語モデルはC4のパープレキシティ260（GPT-2の8倍）に到達し、予測子のアブレーション（線形予測子を完全なソフトマックス注意に置き換える）では同一の損失が得られます。これにより、そのギャップ全体がトレースにあることが局所化されます。トレースは、損失のある、データ非依存の圧縮を適用します。データ処理不等式により、廃棄された情報は下流のどの予測器も復元できません。時間方向であれ深さ方向であれ、固定係数の蓄積は不可逆な情報の希釈に悩まされ、学習された入力依存の選択だけがそれを解決できます。