DANCE: Dynamic 3D CNN Pruning—エッジ上のエネルギー効率のためのフレーム・チャネル・特徴の共同適応

概要:
現代の畳み込みニューラルネットワーク（CNN）は動画および画像処理の主力だが、入力サンプルの計算複雑性に動的に適応してエネルギー消費を最小化することができない。本研究では、DANCEを提案する。細粒度で入力を考慮した動的剪定フレームワークで、性能への影響をほとんどない、あるいはゼロに近い範囲に抑えつつ電力効率を最大化する3D CNN向けのフレームワークである。提案された二段階アプローチの第一歩は activation variability amplification（AVA）と呼ばれ、ネットワーク全体におけるニューロン活性化の大きさの分散を増やすように3D CNNモデルを再訓練する。このステップは、さまざまなCNN入力シナリオにおける剪定判断を促進する。第二のステップは adaptive activation pruning（AAP）と呼ばれ、ネットワークの最初の層の出力の統計に基づき、ネットワークの3D畳み込み層のフレーム、チャネル、および特徴を動的に剪定する軽量な活性化コントローラネットワークを層ごとに異なる形で訓練する。本手法は、畳み込み層内に疎性を導入することにより、乗算-加算（MAC）演算およびメモリアクセスを大幅に節約する。NVIDIA Jetson Nano GPUおよび Qualcomm Snapdragon 8 Gen 1プラットフォームでのハードウェア検証は、それぞれ1.37倍および2.22倍のスピードアップを示し、最先端技術と比較して最大1.47倍のエネルギー効率を達成している。