TransformerでAttention Residualsを観察する
Zenn / 2026/3/28
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- TransformerのAttention Residuals（注意の残差）を観察するための考え方と、注目すべき観測ポイントが整理される。
- Attentionの残差を追うことで、どのように情報が更新・混合されているかをより直接的に理解する狙いが述べられている。
- 既存の注意重み（attention weights）だけでは見えにくい振る舞いを、残差の変化として捉える観点が提示される。
- 実験や可視化に落とし込む際のフレームとして、観測対象の取り方・読み取り方の方向性が示される。
はじめに
MoonshotAIが公開したAttention Residualsが気になったので、今回は自作TransformerにResidualsを組み込み、Wikipediaコーパスで標準残差との差を検証しました。
!
個人の実験のため、参考程度にお願いします。
Attention Residuals
Transformerは、1つ前の層の出力をそのまま足す、固定の残差接続を使います。
Attention Residualsは、ブロック境界ごとにそれまでのブロック出力を学習可能な重みで選んで使う方式です。
詳細は論文（arxiv:2603.15031）を参照してください。
...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
