要旨: バイナリ・スパイク符号化は、スパイキングニューラルネットワーク(SNNs)においてスパースでイベント駆動型の計算を可能にしますが、時刻ごとに1ビットという表現は本質的に情報スループットを根本的に制限します。このボトルネックは、短いシミュレーション時間の下で、深いアーキテクチャにおいてますます制約が強くなります。私たちは、Quantized Burst-LIF(QB-LIF)ニューロンを提案します。これはバースト発火を、学習可能なスケールを伴う飽和した一様量子化として再定式化します。事前に定義された多しきい値構造に依存するのではなく、QB-LIFでは量子化スケールを学習可能なパラメータとして扱い、各層が基礎となる膜電位の統計に応じて発火分解能を自律的に適応できるようにします。ハードウェア効率を維持するために、推論時に学習された量子化スケールをシナプス重みに折り込む、吸収可能(absorbable)なスケール戦略を導入し、厳密なアキュムレートのみ(AC)実行パラダイムを維持します。離散的な多段階の空間における安定した最適化を可能にするため、さらに、バースト区間をまたいで勾配の流れを維持する指数テールをもつ整流線形のサロゲート勾配ReLSG-ETを設計します。静的ベンチマーク(CIFAR-10/100、ImageNet)およびイベント駆動型ベンチマーク(CIFAR10-DVS、DVS128-Gesture)での大規模な実験により、QB-LIFがバイナリおよび固定バーストのSNNを一貫して上回り、ニューロモーフィック互換性を保持しながら、超低遅延下でより高い精度を達成することが示されます。
QB-LIF:効率的SNNのための学習可能スケール量子化バーストニューロン
arXiv cs.CV / 2026/4/29
📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- この論文は、スパイキングニューラルネットワーク(SNN)におけるバイナリ・スパイク符号化の主要なボトルネックとして、1タイムステップ1ビット表現が情報スループットを制限し、特に深いモデルかつ短いシミュレーション時間では制約が強まる点を扱います。
- Quantized Burst-LIF(QB-LIF)ニューロンを提案し、バースト発火を、学習可能なスケールを伴う飽和一様量子化として膜電位を表現します。
- 固定された事前定義の多閾値バースト構造に依存せず、QB-LIFは膜電位の統計に基づいて各層がスパイク解像度を自律的に適応できるようにします。
- ハードウェア効率のために、「absorbable scale(吸収可能スケール)」戦略を導入し、推論時に学習した量子化スケールをシナプス重みに折り込み、加算のみ(AC)実行パラダイムを厳密に維持します。
- 離散的な多レベル空間での最適化を安定化するため、ReLSG-ET(指数テールを持つRectified-Linearのサロゲート勾配)を設計し、バースト間隔をまたぐ勾配の流れを保ちます。実験ではQB-LIFがバイナリおよび固定バーストのSNNより一貫して優れ、静的ベンチマークとイベント駆動ベンチマークの双方で超低遅延下で高い精度を達成しつつ、ニューロモーフィック適合性も維持したことが示されています。



