ゲージ共変的確率的ニューラル場:安定性と有限幅効果

arXiv stat.ML / 2026/4/23

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、深層ニューラルシステムにおける安定性と有限幅効果を解析することを目的とした、ゲージ共変的な確率的有効場理論を提案している。
  • 複素マター場、実数のアーベル接続場、確率的深さ変数を含む可換な古典場を用いて理論を構成し、Martin–Siggia–Rose–Janssen–de Dominicis 形式論により関数表現を導出している。
  • 2レプリカの線形応答構成に基づいて、最大リャプノフ指数や「カオスの縁」付近での増幅因子といった力学的指標を算出している。
  • 有限幅効果はドレスト・カーネルへの摂動的補正として扱われ、固定されたカーネル幾何に対しては、検討した次数の範囲内で限界性(marginality)条件は変わらないことが示されている。
  • 有限幅の多層パーセプトロンに関する数値実験と、線形な確率的有効セクターによって、平均場の不安定性閾値や低周波スペクトルの変形に関する予測と整合する結果が報告されている。

Abstract

本研究では、深いニューラルシステムにおける安定性と有限幅(finite-width)効果のための、ゲージ共変的な確率的有効場の理論を構築します。本モデルは、古典的な可換場を用います。すなわち、複素マター場、実数のアーベル(Abelian)なゲージ接続場、そして仮想的な確率的深さ(stochastic depth)変数です。Martin--Siggia--Rose--Janssen--de~Dominicis の形式主義を用いて、その汎関数表現を導出し、さらに二レプリカの線形応答構成により、最大リアプノフ指数とカオスの縁(edge of chaos)に対する増幅因子を定義します。有限幅効果は、ドレスされた核(kernel)に対する摂動的補正として現れます。また、核の幾何学(geometry)が固定された状況で、考慮した次数においては、周辺性(marginality)条件は不変のままです。数値計算により、有限幅の多層パーセプトロンは平均場の不安定性閾値に従い、線形の確率的有効セクターが、予測された低周波のスペクトル変形を再現することが示されます。