SpikeCLR: スパイキングニューラルネットワークを用いた少数ショットのイベントベース視覚におけるコントラスト型自己教師付き学習

要約: イベント駆動型ビジョンセンサは、高速知覚に対して顕著な利点を提供します。マイクロ秒単位の時間分解能、高いダイナミックレンジ、低消費電力を含みます。スパイキングニューラルネットワーク（SNN）と組み合わせると、ネウロモルフィックハードウェア上で展開でき、組込みシステムでのエネルギー効率に優れたアプリケーションを可能にします。しかし、この可能性は、これらのモデルを効果的に訓練するために必要な大規模なラベル付きデータセットの不足によって深刻に制限されます。
本研究では、SpikeCLRを導入します。対照学習を用いた自己教師あり学習フレームワークで、SNNがラベルなしのイベントデータから頑健な視覚表現を学習できるようにします。私たちは、従来のフレームベース手法をスパイキング領域に適用するため、代理勾配訓練を用い、空間的・時間的・極性変換を活用するイベント特有の拡張手法の一連を導入します。CIFAR10-DVS、N-Caltech101、N-MNIST、DVS-Gestureのベンチマークにおける大規模な実験を通じて、自己教師ありの事前学習とその後のファインチューニングが、データが少ない領域で監督付き学習を上回ることを示し、少数ショット学習および半教師あり設定で一貫した改善を達成します。アブレーション研究から、空間的拡張と時間的拡張を組み合わせることが、イベントデータにおいて効果的な時空不変性を学習するうえで重要であることが示されました。さらに、学習された表現がデータセット間で転移可能であることを示し、ラベル欠如の環境における強力なイベントベースモデルの構築に寄与します。