Learn&Drop：層のドロップに基づくCNNの高速学習

Abstract

本論文は、深い畳み込みニューラルネットワークの学習効率を改善するための新しい手法を提案する。学習中、この手法はスコアを評価し、各層のパラメータがどれほど変化するか、またその層が学習を継続するかどうかを測定する。これらのスコアに基づき、ネットワークを縮小して学習されるパラメータ数を減らし、その結果、学習を高速化する。推論フェーズで使用するためにネットワークを圧縮しようとする手法、またはバックプロパゲーションフェーズで実行される演算回数の上限を設けようとする手法とは異なり、提案手法は学習中のフォワード伝播においてネットワークが実行する演算回数を減らすことに焦点を当てる点で新規性がある。提案する学習戦略は、広く用いられている2つのアーキテクチャファミリで検証された：VGGとResNetである。MNIST、CIFAR-10、Imagenetteに対する実験により、提案手法によって精度に大きな影響を与えずにモデルの学習時間が2分の1以上に短縮されることが示された。学習中のフォワード伝播におけるFLOPs削減率は、VGG-11で17.83\%からResNet-152で83.74\%の範囲に及ぶ。これらの結果は、提案手法がCNNの学習を高速化するうえで有効であることを示している。この技術は、たとえばデータが逐次的に到着するために、畳み込みモデルの微調整やオンライン学習が必要とされるアプリケーションで特に有用である。