要旨: 本研究では、測度代数幾何を通じたニューラルネットワークの頑健性検証を調べます。多項式ニューラルネットワークの場合、頑健性半径の認証は、代数的な決定境界までの距離を計算することに相当します。我々は、この問題の複雑性の本質的な尺度としてユークリッド距離(ED)次数を用い、関連するED判別式を解析し、さらにED次数が低下するパラメータ値を検出するパラメータ判別式を導入します。いくつかのネットワーク構造に対するED次数の公式を導出し、無限幅極限における実の臨界点の期待個数を特徴付けます。これらの量を計算するための記号的消去手法と、厳密な頑健性認証のためのホモトピー継続手法を開発します。最後に、ライトニング・セルフアテンション・モジュールに関する実験により、同じ周囲空間次元の一般的な三次超曲面よりも、ED次数が厳密に小さい決定境界が現れることを明らかにします。
多項式ニューラルネットワークの頑健性検証
arXiv stat.ML / 2026/4/20
💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 本論文は、メトリックな代数幾何の手法を用いてニューラルネットワークの頑健性検証を研究し、多項式ニューラルネットワークでは頑健性半径の認証が代数的な意思決定境界までの距離計算に帰着することを示している。
- ユークリッド距離(ED)次数を問題の内在的な複雑さの指標として位置づけ、ED判別式を解析するとともに、ED次数が低下しうるパラメータ値を検出するパラメータ判別式も提案している。
- 複数のネットワーク構造に対してED次数の公式を導出し、無限幅極限における実数の臨界点の期待個数を特徴づけている。
- 幾何学的量を計算するための象徴的消去法と、厳密な頑健性認証を目指したホモトピー継続法を開発している。
- 稲妻型の自己注意モジュールに関する実験では、同じ周辺空間次元での一般的な3次超曲面よりもED次数が小さい意思決定境界が得られることが示され、アーキテクチャ構造が検証の複雑さを下げうることを示唆している。



