言語トランスフォーマにおける異方性を再考する：学習ダイナミクスの幾何

Abstract

導入以来、Transformer アーキテクチャは自然言語処理（NLP）を支配してきました。しかし近年の研究では、これらのモデルに固有の異方性（anisotropy）現象があることが明らかにされており、幾何学的な解釈にとって大きな課題となっています。この現象に関するこれまでの理論研究は、その基盤となる表現の幾何に裏付けられていることは稀でした。本論文では、周波数バイアス付きサンプリングがどのように曲率の可視性を減衰させるのか、またなぜ学習が接線方向（tangent directions）を優先的に増幅させるのかについての幾何学的議論を導出することで、それらを拡張します。さらに実験的には、事後的（post hoc）な解釈に限らず、学習中に概念ベースのメカニスティック解釈可能性（concept-based mechanistic interpretability）を用いて、活性（activation）から得られる低ランクの接線プロキシを適合させ、それらを通常のバックプロパゲーションによって得られる真の勾配（true gradients）に対して検証します。エンコーダ型およびデコーダ型の言語モデルの両方において、これらの活性由来の方向は、対応するランクの一般的対照（matched-rank normal controls）よりも、異常に大きな勾配エネルギーと、勾配の異方性に対する実質的により大きな寄与割合の両方を捉えることが分かりました。これは、異方性を接線方向に整列した（tangent-aligned）説明で捉えることへの強い実証的支持を与えます。