PrototypeNAS: マイクロコントローラ用ディープニューラルネットワークの迅速設計

要約: エッジデバイス上で、さまざまなハードウェア制約に対応する効率的な深層ニューラルネットワーク（DNN）推論を実現することは、通常、DNNアーキテクチャを各デバイスごとに個別に最適化・特化させる必要があるという困難な課題です。膨大な手作業を回避するためには、ニューラル・アーキテクチャ探索（NAS）を使用することができます。しかし、多くの既存のNAS手法はリソースを大量に消費し、ゼロから多数の異なるDNNを訓練する必要があるため、時間がかかることが多いです。さらに、それらは対象システムのリソース制約を考慮していません。これらの欠点に対処するため、PrototypeNAS（ゼロショットNAS法）を提案します。これは、異なるターゲットマイクロコントローラユニット（MCU）に対してDNNの選択、圧縮、そして特化を高速化・自動化します。特定のターゲットプラットフォームに対して、DNN設計と特化をDNNトレーニングから切り離す新しい3ステップの探索手法を提案します。まず、単一の大規模アーキテクチャから小型のDNNを切り出すだけでなく、複数のアーキテクチャタイプの構造最適化を組み合わせ、それらの剪定と量子化設定の最適化も行う新しい探索空間を提示します。次に、最適化の過程で単一のプロキシの代わりに、ゼロショットプロキシのアンサンブルの使用を検討します。第三に、精度とFLOPsの最も意味あるトレードオフを表す多目的最適化のパレート前線からDNNアーキテクチャを蒸留するために、Hypervolumeサブセット選択の利用を提案します。PrototypeNASの有効性を、3つの異なるタスク（画像分類、時系列分類、物体検出）の12の異なるデータセットで評価します。私たちの結果は、PrototypeNASが数分以内に、市販のMCU上に展開可能なほど小さく、依然として大規模DNNモデルの性能に匹敵する精度を達成するDNNモデルを特定できることを示しています。