共有重みトランスフォーマにおける階層型反復とフラット反復

要旨: 本稿では、階層的に構造化され、共有重みを用いる再帰を、Transformer系の言語モデルにおける独立層の積み重ね（スタッキング）の表現品質に匹敵できるかどうかについての実証的研究を提示する。HRM-LMは、L個の独立したTransformer層を、2つの速度を持つ再帰ペアで置き換える。すなわち、局所的な洗練のために各ステップで動作するFastモジュールと、グローバルな圧縮のためにTステップごとに動作するSlowモジュールである。この再帰階層は、共有パラメータを用いて、M = N x T ステップにわたって展開される。中心的で、かつ最も頑健な発見は、5回の独立した実験実行にわたるパラメータ数を揃えたUniversal Transformerのアブレーション（UniTF, 1.2B）によって裏付けられているが、2つのアプローチの間に、鋭い実証上のギャップが存在するという点である。