分類カテゴリに基づくスクリーニング手法による視覚用ニューラルネットワークの剪定（プルーニング）を探る

Abstract

現代の深層ニューラルネットワーク（DNN）の目覚ましい性能は、その大規模さによって主に支えられており、多くの場合、数千万〜数億（あるいは数十億）ものパラメータを含んでいます。しかし、このような規模は、ストレージおよび計算コストを大きく増大させ、エネルギー効率とリアルタイム処理を必要とするエッジデバイスなどのプラットフォームへの展開を妨げます。本論文では、モデル精度を維持しつつ、ストレージと計算の両方の要求を1桁削減するネットワーク剪定（pruning）フレームワークを提案します。提案手法は、分類カテゴリ間における構成要素の重要度を統計的に分析することで、不要なパラメータを排除します。具体的には、接続とチャネルの寄与を定量化するために、F統計（F-statistic）に基づくスクリーニング手法と重み付き評価スキームを組み合わせ、統一的な枠組みの中で非構造的剪定と構造的剪定の両方を可能にします。完全結合ニューラルネットワーク（FNN）と畳み込みニューラルネットワーク（CNN）の両方を対象とした、現実世界の視覚データセットに関する大規模な実験により、提案フレームワークがコンパクトで効率的なモデルを生成し、最先端のアプローチに対して非常に競争力が高いことが示されます。