自律剪定を用いた成長ネットワーク

要約：本論文は、画像分類のための自律剪定を備えた成長型ネットワーク（GNAP：Growing Networks with Autonomous Pruning）を提案します。伝統的な畳み込みニューラルネットワークとは異なり、GNAPはトレーニング中にデータに最も適合し、かつ可能な限り少ないパラメータを使用するよう、サイズと使用するパラメータ数の両方を変化させます。これは、成長と剪定という2つの相補的な機構によって実現されます。GNAPは少数のパラメータから開始しますが、ネットワークが飽和点へ収束するたびに、表現力を高めるためにそのサイズを定期的に拡張します。これらの成長フェーズの間には、分類のためにモデルパラメータを訓練し、同時に剪定を行い、勾配降下法によって完全に自律的に実行されます。成長フェーズはGNAPの分類性能を向上させる一方、自律剪定は可能な限り少ないパラメータで運用できるようにします。いくつかの画像分類ベンチマークにおける実験結果は、我々のアプローチが高い精度で極めてまばらなニューラルネットワークを訓練できることを示しています。例えば、MNISTではわずか6.2kパラメータで99.44%の精度を達成し、CIFAR10では157.8kパラメータで92.2%の精度を達成しました。
返却形式: {"translated": "翻訳されたHTML"}