サロゲート、スパイク、およびスパース性：ハードウェア上でのSNNハイパーパラメータの性能分析と特性評価

Abstract

スパイキングニューラルネットワーク（SNN）は、疎なイベント駆動型計算による低電力推論という点で本質的な利点を提供します。しかし、SNNの理論上のエネルギー利点は、学習時の選択と推論時のスパース性の関係が不透明であるため、実際のハードウェア性能からしばしば切り離されてしまいます。これまでの研究は主に重みのプルーニングや圧縮に焦点を当ててきましたが、学習のハイパーパラメータ、具体的には代理勾配関数やニューロンモデル設定が、ハードウェアレベルの活性スパース性の形成にどのように関与するかは、十分に調べられていません。 本論文では、SNNハイパーパラメータに対するハードウェアのレイテンシの感度を定量化するワークロード特性評価研究を提示します。代理勾配関数（例: Fast Sigmoid、Spike Rate Escape）とニューロンモデル（LIF、Lapicque）が、3つのイベントベース視覚データセット（DVS128-Gesture、N-MNIST、DVS-CIFAR10）における分類精度と推論効率に与える影響を切り分けます。解析の結果、標準的な精度指標はハードウェア効率の良い予測因子になりにくいことが明らかになりました。Fast SigmoidはDVS-CIFAR10で最も高い精度を達成する一方で、Spike Rate Escapeは、精度のトレードオフが小さいままDVS128-Gestureにおいて推論レイテンシを最大12.2%削減します。また、ニューロンモデルの選択はパラメータ調整と同じくらい重要であることを示します。LIFからLapicqueニューロンへ切り替えることで、最大28%のレイテンシ削減が得られます。カスタムのサイクル精度FPGAベースSNN計測プラットフォームで検証したところ、スパース性を意識したハイパーパラメータ選択により、ベースラインと比較して精度が9.1%改善され、レイテンシは2倍以上に向上することを確認しました。これらの知見は、学習パラメータからハードウェアの挙動を予測するための手法論を確立するものです。RTLおよび再現性の成果物は https://zenodo.org/records/18893738 です。