要約: 私たちは yat-product を導入します。これは二次的整列と逆二乗距離の近接を組み合わせたカーネル演算子です。私たちは、それがマーサー核であり、解析的、有限領域でリプシッツ連続、自己正則化的で、一意の RKHS 埋め込みを有することを証明します。 Neural Matter Networks (NMNs) は yat-product を唯一の非線形として用い、従来の線形活性化・正規化ブロックを、1つの幾何学的に根拠づけられた演算に置き換えます。 この構造的単純化は普遍近似性を維持しつつ、分母を介して正規化をカーネル自体へ移すことで、別個の正規化層に依存するのを避けます。 実証的には、NMN ベースの分類器は MNIST で線形ベースラインに匹敵しつつ、有界なプロトタイプの進化と重ね合わせの頑健性を示します。 言語モデリングでは、Aether-GPT2 は yat ベースの注意機構と MLP ブロックを用いながら、比較可能なパラメータ予算で GPT-2 より低い検証損失を達成します。 私たちのフレームワークはカーネル学習、勾配安定性、情報幾何学を統合し、NMNs を従来のニューラルアーキテクチャに対する principled な代替として位置づけます。
No More DeLuLu: 物理に着想を得たカーネルネットワークによる幾何学的根拠に基づくニューラル計算
arXiv cs.LG / 2026/3/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は yat-product を導入する。これは物理学に着想を得たカーネル演算子で、二次的整列と逆平方近接性を組み合わせ、唯一の RKHS 埋め込みを持つ Mercer カーネルであることが証明されている。
- Neural Matter Networks（NMN）は yat-product を唯一の非線形性として用い、正規化をカーネルへ移行させ、従来の活性化-正規化ブロックを幾何学的根拠に基づく演算へ置換する。
- 実証的には、NMN ベースの分類器は MNIST において線形ベースラインと同等の性能を示しつつ、プロトタイプの発展が制限され、重ね合わせ耐性を示す。さらに Aether-GPT2 は yat ベースのアテンションと MLP ブロックを用いることで、同等のパラメータ予算で GPT-2 より検証損失を低く達成する。
- 本フレームワークはカーネル学習、勾配の安定性、情報幾何学を統合するものとして位置づけられ、NMNsを従来のニューラルアーキテクチャに対する原理的な代替として確立する。
関連記事
半導体FABにLLMを持ち込んだら何が起きるか — ArXiv論文5本を現場目線でぶった斬る
Qiita
The massive shift toward edge computing and local processing
Dev.to
Self-Refining Agents in Spec-Driven Development
Dev.to
Week 3: Why I'm Learning 'Boring' ML Before Building with LLMs
Dev.to
The Three-Agent Protocol Is Transferable. The Discipline Isn't.
Dev.to
