バックプロパゲーションなしで実現する構造化リカレントスパイキングニューラルネットワークのスケーラブル学習

Abstract

スパイキングニューラルネットワーク（SNN）は、エネルギー効率に優れ、生物学的根拠に基づいた計算の枠組みとして有望ですが、疎な結合を持つ深い再帰アーキテクチャにおけるスケーラブルな学習は依然として大きな課題です。本研究では、読み出し母集団（readout population）へ投影するための、疎なスモールワールドの長距離投影を、局所的に密な再帰層と組み合わせた構造化された多層の再帰SNNアーキテクチャを提案します。長距離の結合は概ね固定されるため、経路選択（routing）の効率とハードウェアのスケーラビリティが維持され、一方でシナプス適応は厳密に局所的な可塑性機構を用いて実行されます。逆伝播（backpropagation）や代理勾配（surrogate gradients）なしで教師あり学習を可能にするために、生物学的動機に基づく学習枠組みを導入します。この枠組みは次の要素を組み合わせます： (i) 出力層における集団ベースの勝者総取り（WTA）教育信号、(ii) 固定されたランダムなブロードキャスト整合（alignment）フィードバック経路、(iii) 低次元の調節（modulatory）ニューロン母集団で、適格性トレース（eligibility traces）を伴う3因子学習則（three-factor learning rules）によってシナプス更新をゲートします。この設計により、疎な大域通信と純粋に局所的なシナプス更新を備えた深い再帰計算が可能になります。提案手法について、アルゴリズム特性、計算複雑性、およびハードウェア実現可能性を解析し、ベンチマークの分類タスクにおいて安定した学習と競争力のある性能を示します。結果は、構造化された再帰とニューロモジュレーションによる学習が、勾配ベース手法を超えてスケーラブルでハードウェアに適合したSNN学習を可能にする可能性を浮き彫りにします。