要旨: パラメータ空間は、ニューラルネットワークのアーキテクチャにとっての関数空間ではありません。この事実は、1990年代にはすでに ``逆問題（reverse engineering）'' や ``パラメータ同一性（parameter identifiability）'' といった用語のもとで調べられてきましたが、そこから自然に生じる疑問が、パラメータ空間の対称性、すなわち同じ関数を実現するニューラルアーキテクチャ上の相異なるパラメータの研究です。実際、同じ関数を生み出すパラメータを同一視して得られる商空間は、 extit{ニューロマニフォールド（neuromanifold）}と呼ばれ、いくつかの場合に豊かな幾何学的性質をもち、最適化ダイナミクスに影響を与えることが示されています。これまでのところ、完全な分類に向けた手法には、活性化関数の解析性が必要であり、とりわけReLUという重要な場合が除外されていました。これに対して本論文では、浅い場合における対称性の完全な分類を行うために、ReLU活性化の非微分可能性を活用します。
浅いReLUネットワークに対する完全な対称性分類
arXiv cs.LG / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、ニューラルネットワークにおいては、パラメータ空間を常に関数空間と同等だとみなせないことを主張し、同じ関数を与えるパラメータ間の対称性を調べる動機を示している。
- それを「ニューロマンフォールド（neuromanifold）」という枠組みで捉える。すなわち、関数的に等価なパラメータを同一視する商空間として定義し、最適化ダイナミクスに影響し得る幾何学的性質と結び付ける。
- 先行する対称性の分類手法は、活性化関数の解析性を仮定することが多く、それによりReLUの重要な場合が除外されていた。
- 著者らは、ReLUの非微分可能性を活用することで、浅いReLUネットワークに対する対称性を完全に分類している。
