変分ニューロンの次元を探索する

要旨：私たちは EVE（Elemental Variational Expanse）を紹介します。局所的な確率計算ユニットとして定式化された分散ニューロンで、明示的な事前分布、アモルタイズド後方分布、およびユニットレベルの変分正則化を備えています。現代の多くのアーキテクチャでは、不確実性はグローバル潜在変数やパラメータ不確実性を通じてモデル化される一方、計算ユニット自体は依然としてスカラーのままです。これに対して EVE は確率的構造をニューロンレベルへ再配置し、局所的に観測可能で制御可能にします。
本論文では、次元という用語は主にニューロンの内部潜在次元性を指し、それは k で表されます。我々は k を、原子レベルのケース k = 1 から高次元の潜在空間へと変化させると、ニューロンが学習した作動モードがどのように変化するかを調べます。次に、この主軸が二つの追加的な構造特性、局所的な容量制御とニューロンレベルの自己回帰拡張による時間的持続性とどのように相互作用するかを検討します。
この研究を支えるため、EVE には内部診断と制約が組み込まれており、有効な KL、μ^2 に対するターゲットバンド、バンド外の分率、ドリフトと崩壊の指標などが含まれます。選択された予測および表形式設定全体において、潜在次元性、制御、および時間的拡張がニューロンの内部レジームを形作り、いくつかのニューロンレベルの変数は測定可能で有益であり、下流の挙動と関連していることを示します。総じて、本論文は、分散ニューロンによって開かれた設計空間の実験的根拠に基づく最初のマップを提供します。