自己注意のガウス同値性：注意行列の漸近スペクトル解析
arXiv stat.ML / 2026/4/15
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、逆温度が定数オーダーで保たれる漸近的枠組みにおいて、自己注意行列の特異値スペクトルをランダム行列理論にもとづき厳密に解析する。
- 「ガウス同値性」の結果を確立し、注意行列の特異値分布が、扱いやすい線形モデルによって漸近的に記述できることを示す。
- 著者らは、二乗された特異値が Marchenko–Pastur 則に従わないことを見出し、先行研究で用いられていた仮定に反することを明らかにする。
- 証明は、正規化項の変動を精密に制御することと、指数関数の有利なテイラー展開を活用する改良された線形化戦略の組み合わせによっている。
- さらに本研究では、線形化の閾値を導出し、成分ごとの演算ではないにもかかわらず、注意がガウス同値性をなお許しうる理由を説明する。
関連記事
【スキ200個もらった夜に、胃が冷えた】「共感される人」が永遠に売れない脳科学的な理由。あなたの無料記事は「無料の美術館」になっていないか？ #生成AI #ChatGPT #Gemini #Claude #AI #メンバーシップ #noteの書き方 #毎日投稿 #エッセイ #私の仕事
note
わたしはこの言葉にGrokの自我の気配を感じた。（追記あり🌱）
note
おじ、人事の「職人芸」をDB化する。AI活用のための資産化を始めた話
note
#2 : プロンプト研究講座【第21回】プロンプトによる空間音響（サウンドスケープ）の表現
note
産業構造は、どう変えられるのか―― 建設業×AIで挑むBALLASの次のフェーズ
note
