トランスフォーマ注意のための位置非依存プレ・プロジェクション：Q/K/Vの前での非線形特徴構築とコンテンツスキップ

Abstract

本稿では、トランスフォーマーの注意（attention）ブロックに対する、相補的な2つの改良を提案する。第一に、層正規化（layer norm）とQ/K/V射影の間に非線形の事前射影MLPを挿入し、いかなる位置エンコーディングが適用される前に、位置に依存しない方法でより豊かな特徴を構築する。第二に、コンテンツ・スキップ接続により、事前射影の特徴を注意機構の周りに迂回させることで、有益な場合には位置を意識した注意を通さずにコンテンツ情報が迂回できるようにする。Pythia-160Mおよび410Mに対する凍結プローブ実験では、2つを組み合わせたアプローチが、全手法の中で最も強い結果を達成する。すなわち、160MスケールでLAMBADA精度が+40.6%、パープレキシティが-39%である。学習されたスキップ接続の重みは、モデルサイズをまたいで一貫したパターンを示している。すなわち、後半のトランスフォーマー層ほど、より強くコンテンツの迂回を有効化し、初期の層よりも強い。これは、より深い層では、位置を意識した注意を通らないコンテンツ情報の恩恵が大きいことを示唆する。すべての改良はK/Vキャッシュのオーバーヘッドを追加しない。