スパイキングニューラルネットワークの量子化：精度を超えた評価

arXiv cs.LG / 2026/4/17

📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、スパイキングニューラルネットワーク（SNN）の量子化は精度だけでなく、量子化後のモデルがフル精度のモデルと同様の発火挙動を保持しているかを評価すべきだと主張しています。
量子化手法、クリッピング範囲、ビット幅といった選択により、精度が同等でも発火分布が大きく変化しうることを示しています。
発火分布のズレを診断するために、Earth Mover’s Distance（EMD）を提案し、標準指標では見えにくい挙動のドリフトを明確化します。
CIFAR-10およびCIFAR-100でSEW-ResNetを用いた実験では、一様量子化は分布ドリフトを生みやすい一方、LQ-Net型の学習量子化は発火挙動をベースラインに近く保ちます。
本研究は、精度に加えて「挙動の保持」を評価基準として扱うべきであり、EMDがそれを原理的に評価する手段になると提案しています。

Abstract

量子化は、スパースでイベント駆動の計算を行うスパイキングニューラルネットワーク（SNN）にとって自然な補完であり、メモリ帯域幅と算術コストを削減して、資源制約のあるハードウェアへの展開を容易にします。しかし、既存のSNNの量子化評価はほぼ一貫して精度にのみ焦点を当てており、量子化されたネットワークが、その32ビット精度などのフル精度版の発火挙動をどの程度保持するかは見落とされています。本研究では、量子化手法、クリッピング範囲、ビット幅が、等しい精度に対しても発火分布を大きく異ならせ得ることを示します。これらの差は標準的な指標では見えない一方で、展開においては重要になります。なぜなら、発火活動が有効なスパース性、状態の保存、そしてイベント処理の負荷を左右するからです。このギャップを捉えるために、発火分布の乖離を診断する指標としてEarth Mover's Distance（EMD）を提案し、CIFAR-10およびCIFAR-100で学習したSEW-ResNetアーキテクチャにおいて、重みと膜電位（メンブレン）の量子化の両方に対してそれを体系的に適用します。均一量子化は、精度が維持される場合でも分布のドリフトを引き起こすことが分かります。一方で、LQ-Netスタイルの学習された量子化は、フル精度のベースラインに近い発火挙動を維持します。本結果は、挙動の保持を精度と並ぶ評価基準として扱うべきであり、またEMDがそれを評価するための原理的な手段となることを示唆しています。