ほとんどのReLUネットワークは同定可能なパラメータを持つ

Abstract

本研究では、深いReLUネットワークの実現写像（realization map）を調べ、どのようなときにある関数が、そのパラメータをスケーリングと置換までで一意に決定するのかに焦点を当てます。これらの標準的な対称性を超える隠れた冗長性を解析するために、加重多面体複体（weighted polyhedral complexes）に基づく枠組みを導入します。主要な結果として、入力層と隠れ層の幅がそれぞれ少なくとも2であるあらゆるアーキテクチャについて、識別可能なパラメータからなる開集合が存在することを示します。これにより、そのようなアーキテクチャにおけるすべての機能的次元（functional dimension）は、隠れニューロンの数をパラメータ数から差し引いたものとちょうど一致することが導かれます。さらに、最小の機能的表現であっても自明でないパラメータの冗長性を持ちうることを示します。最後に、一般的（generic）な深さ階層（depth hierarchy）を確立し、開集合に属するパラメータに対して、実現される関数はより浅いネットワークによって一般的には表現できないことを示します。