Abstract
プロファイル付きスパースネットワーク（PSN）は、均一な結合を、連続的で非線形な関数によって定義される決定的で不均一なファンイン（入力結合数）のプロファイルに置き換えます。これにより、密な受容野と疎な受容野の両方を持つニューロンが作られます。私たちは、視覚領域と表形式領域にまたがる4つの分類データセットに対してPSNをベンチマークし、入力次元は54から784、ネットワーク深さは2〜3の隠れ層としました。90%のスパース性では、均一なランダム基準を含むすべての静的プロファイルが、すべてのデータセットで密な基準と比較して精度を0.2〜0.6%の範囲に収めます。これは、ハブ配置がタスクに整合していない場合、不均一な結合が精度上の優位性をもたらさないことを示しています。この結果は、スパース性レベル（80〜99.9%）、プロファイル形状（8つのパラメトリックファミリー、対数正規、べき乗則）、およびファンインの変動係数が0から2.5までの範囲にわたって成り立ちます。内部の勾配解析では、構造化されたプロファイルが、ランダム基準における約1倍の一様分布と比較して、ハブニューロンで2〜5倍の勾配濃縮を生み出すことが明らかになり、この階層の強さはファンインの変動係数によって予測されます（r = 0.93）。PSNのファンイン分布を用いてRigLの動的スパース学習を初期化すると、平衡時のファンイン分布に合わせた対数正規プロファイルが、標準的なERK初期化を一貫して上回ります。その優位性はより難しいタスクで増大し、Fashion-MNISTで+0.16%（p = 0.036, d = 1.07）、EMNISTで+0.43%、Forest Coverで+0.49%を達成しました。RigLは、初期化にかかわらず特徴的なファンイン分布へ収束します。この平衡から開始することで、オプティマイザはトポロジーを組み替えるのではなく重みを洗練できます。どのニューロンがハブになるかは、結合の分散度（変動）よりも重要です。すなわち、ランダムなハブ配置では優位性は得られず、一方で最適化に基づく配置では優位性が得られます。
