Softmax Attentionにおける不変量について

要旨: Softmax による attention は、すべてのクエリ--キーの相互作用を確率分布へと写像するが、その背後にある構造はほとんど未解明のままである。私たちは
\emph{エネルギー場}、行を中心化した attention ロジットを定義し、それがモデル、アーキテクチャ、入力にまたがって不変な性質を示すことを明らかにする。




不変性は 2 つのクラスとして現れる。\emph{メカニズム・レベル}の不変性は、softmax attention の代数的構造から導かれる。それには、行ごとのゼロ和制約、ヘッド次元によって決まるランクの上界、そしてそれらから従うスペクトル的な特徴が含まれる。\emph{モデル・レベル}の規則性はメカニズムによっては要求されないが、私たちがテストしたあらゆる自己回帰型言語モデルにおいて成立しており、複数のアーキテクチャ系統にまたがっている。エネルギー場は、いくつかの位置に集中することなく、キー位置全体へその分散を分配する。この非局在化は、私たちが
\emph{key incoherence（キーの非整合性）}と呼ぶキー行列の性質に由来する。




これらの不変性には実用上の帰結がある。ランクの上界により、エネルギー場は低次元の部分空間に制限される。キーの非整合性は、ヘッドごとの学習モニタとして働く。すべての結果は、複数のコンテキスト長と入力テキストに対して検証されている。