アテンション・シンクは勾配シンクを誘発する

要旨: アテンション・シンクと巨大な活性化は、トランスフォーマーモデルにおいて繰り返し現れ、密接に関連する現象です。
既存の研究は主にフォワードパスに焦点を当てており、それらの結びつきが直接的なものであるのか、訓練時のメカニズムによって媒介されているのかは不明です。
この問いを誤差逆伝播の観点から検討します。
経験的にも理論的にも、因果マスクの下では、アテンション・シンクが顕著な勾配集中を誘発し、それを「勾配シンク」と呼ぶことを示します。
さらに、RMSNormを用いた前正規化（pre-norm）アーキテクチャでは、巨量の活性化は訓練中のこの局所的な勾配圧力に対する適応的な応答として理解できる。
この仮説を検証するために、値パスに逆伝播する勾配を調整する修正であるV-scaleを導入します。
事前学習済みのV-scaleモデルでは、アテンション・シンクは保持される一方で、巨大な活性化は抑制されます。
これらの結果は、勾配シンクがアテンション・シンクと巨大な活性化を結ぶ重要な訓練時の媒介者であるという解釈を支持します。