S3T-Former: 骨格アクション認識のための純粋なスパイク駆動状態空間トポロジー・トランスフォーマー

要旨：
骨格ベースのアクション認識はマルチメディアアプリケーションにとって極めて重要ですが、電力を大量に消費する人工ニューラルネットワーク（ANNs）に大きく依存しており、リソース制約のあるエッジデバイスへの展開を制限しています。
スパイキングニューラルネットワーク（SNNs）はエネルギー効率の高い代替手段を提供しますが、骨格データ用の既存のスパイキングモデルはしばしばSNNの固有のスパーシティを妥協し、密な行列の集約、重い多モーダル融合モジュール、または非スパースな周波数領域変換に頼っています。
さらに、スパイキングニューロンの短期的な健忘（アムネシア）に著しく苦しんでいます。
本論文では、Spiking State-Space Topology Transformer（S3T-Former）を提案します。私たちの知る限り、これはエネルギー効率の高い骨格アクション認識のために特別に設計された、純粋にスパイク駆動のトランスフォーマーアーキテクチャの最初の試みです。
重い融合オーバーヘッドに頼る代わりに、一般化された運動学差分演算子として機能するMulti-Stream Anatomical Spiking Embedding（M-ASE）を定式化し、マルチモーダルな骨格特徴を異種で高度にスパースなイベントストリームへと優雅に変換します。
真のトポロジーおよび時間的スパース性を実現するために、オンデマンド条件発火伝播のためのLateral Spiking Topology Routing（LSTR）を導入し、長距離の時間ダイナミクスを非スパースなスペクトル処理の回避策なしに体系的に捉えるSpiking State-Space（S3）Engineを導入します。
複数の大規模データセットに対する広範な実験により、S3T-Formerは従来のANNと比較してエネルギー消費を理論的に低減しつつ高い競争力のある精度を達成し、エネルギー効率の高いニューロモルフィックなアクション認識の新たな最先端を確立します。