要旨: 私たちは、稲妻（lightning）セルフアテンションの多項式係数を、代数多様体の座標として研究します。Chow型、低ランク、Veronese型、ならびにSylvesterの結果（resultant）に基づく制約を含む、線形および非線形の代数的不変量の族を同定します。
ライトニング・セルフアテンションの代数的不変量
arXiv stat.ML / 2026/4/21
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ライトニング・セルフアテンションの出力に含まれる多項式係数を、代数多様体の座標として捉えることで解析する。
- モデルの振る舞いを制約する代数的な不変量を、線形および非線形の複数の族として導出する。
- 「Chow型」の不変量も見出されており、古典的な代数幾何学的構成との関連が示唆される。
- さらに、低ランク、Veronese型、そしてSylvesterの結果式に基づく制約を提示し、注意機構の構造理解のための手段を広げる。
関連記事
新しいモデルが出るたびに、当然ながら古いモデルは時代遅れになる
Reddit r/LocalLLaMA
NVIDIA DGX SparkフルスタックAIハッカソンで作ったものが総合1位に—『Starfire』から『Molecules AI』へ
Dev.to
進捗を失わない：VS Codeでプロ仕様のJupyterワークフローをセットアップする（Colabのタイムアウトともおさらば！）
Dev.to
AgentOSを作る：保険請求の「AWS Lambda」を目指している理由
Dev.to
状況はここまで来た——1年で何もかも変わった：Kimi、Minimax、Qwen、Gemma、GLM
Reddit r/LocalLLaMA
