エッジ向けニューロモーフィックハードウェア上のスパイキングニューラルネットワークによるリアルタイム・フレーム／イベントベース物体検出：設計、デプロイ、ベンチマーク

Abstract

エネルギー制約のあるプラットフォームでのリアルタイム物体検出は、UAVベースの検査、自律移動、モバイルロボティクスといった用途において重要です。ニューロモーフィック・ハードウェア上のスパイキングニューラルネットワーク（SNN）は、従来の人工ニューラルネットワーク（ANN）よりも大幅に高いエネルギー効率を持つと考えられています。本研究では、ニューロモーフィック・プラットフォーム向けの一般的なSNN検出アーキテクチャを設計するための包括的な方法論と、最先端のニューロモーフィック・プロセッサであるIntel Loihi 2にそれらを展開するために必要な工学的適応を提示します。フレームベースおよびイベントベースのデータセットの両方を用いて、Loihi 2上でのSNNベースの物体検出をベンチマークし、NVIDIA Jetson Orin Nano、NVIDIA Jetson Nano B01、Apple M2 CPU上でのANNベースの検出と性能を比較します。その結果、Loihi 2上のSNNは、全プラットフォームの中で最も低い1推論あたりのダイナミックエネルギーを達成しつつ、リアルタイム検出を実行できることが示されました。また、Loihi 2は消費電力の点で他のプラットフォームを上回りますが、推論レートについてはJetson Orin Nano上のANNがより高いことも分かりました。さらに、ANNからSNNへの蒸留を意識した学習により、SNNは推論レイテンシを低く保ちながら、対応するANNの検出精度の87〜100%を回復できます。蒸留なしでは、SNNは11〜27%の精度低下が見られます。これらの結果は、エッジにおけるエネルギー効率の高いリアルタイム物体検出のためのニューロモーフィック・システムの可能性を示しています。