言語モデルのスケールに伴い、低次の線形深さダイナミクスが出現する

概要：大規模言語モデルはしばしば高次元の非線形システムとして見なされ、ブラックボックスとして扱われる。ここでは、トランスフォーマーの深さダイナミクスが文脈内で正確な低次の線形代理モデルを認めることを示す。毒性、皮肉、ヘイトスピーチ、感情分析を含むタスク全体にわたり、32次元の線形代理モデルはGPT-2-largeの層ごとの感度プロファイルをほぼ完全に一致させ、各層での加法的注入が最終出力をどのように変化させるかを捉える。続いて、驚くべきスケーリング原理を暴く：固定次数の線形代理モデルに対して、GPT-2ファミリー全体で完全モデルとの一致はモデルサイズの増加とともに単調に改善する。この線形代理モデルは、完全モデルに適用した場合、標準的なヒューリスティックなスケジュールより少ないエネルギーで実行可能な原理的な多層介入を可能にする。総じて、言語モデルがスケールするにつれて文脈内に低次の線形深さダイナミクスが現れ、それらを分析・制御するためのシステム理論的基盤を提供する。