LI-DSN:EEGデコーディングのための層ごとの相互作用デュアルストリームネットワーク

arXiv cs.LG / 2026/4/3

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文では、「後期融合型デュアルストリームアーキテクチャ」における“information silo(情報サイロ)”問題に対処する、層ごとの相互作用を行うデュアルストリームニューラルネットワークであるLI-DSNを提案する。
  • LI-DSNは、SACM(空間的に電極間の構造関係を扱う)とTCAM(コサインで制御されたダイナミクスによる、空間ガイド付きの時間的集約)を用いたTemporal-Spatial Integration Attention機構により、各層で進行的なクロスストリーム通信を追加する。
  • また、時間ストリーム特徴と空間ストリーム特徴の統合方法を最適化するため、学習可能なチャネル重みを用いた適応的フュージョン戦略も提案する。
  • 認識対象として、運動イメージ分類、感情認識、SSVEPを含む8つの多様なEEGデータセットで実験を行った結果、LI-DSNはロバスト性とデコーディング性能において、13の最先端ベースラインモデルを大きく上回ることを示す。
  • 著者らは、採択後にコードを公開する予定であると述べている。

概要: 脳波(EEG)は、脳活動を非侵襲的に観測する窓を提供し、脳—コンピュータ・インタフェース(BCI)を通じて神経プロセスを理解し相互作用するために重要な高い時間分解能を可能にします。現在のEEG向けデュアルストリームニューラルネットワークは、多くの場合、時間的特徴と空間的特徴を並列のブランチを用いて独立に処理し、統合は最終段の後期融合まで遅延します。この設計は本質的に「情報サイロ」問題を招き、中間段でのストリーム間の相互洗練を妨げ、特徴の完全な活用に不可欠な空間—時間分解を阻害します。我々は、各層において段階的なストリーム間コミュニケーションを可能にする、層ごとの相互作用型デュアルストリームネットワークであるLI-DSNを提案します。これにより、後期融合パラダイムの限界を克服します。LI-DSNは、新しいTemporal-Spatial Integration Attention(TSIA)メカニズムを導入します。このメカニズムは、電極間の空間構造的関係を捉えるためのSpatial Affinity Correlation Matrix(SACM)を構築し、空間ガイダンスのもとでコサイン・ゲーティングされた時間的ダイナミクスを統合するTemporal Channel Aggregation Matrix(TCAM)を用います。さらに、デュアルストリーム特徴の統合を最適化するために、学習可能なチャネル重みを備えた適応的融合戦略を採用します。運動イメージ(MI)分類、感情認識、定常状態視覚誘発電位(SSVEP)を含む8つの多様なEEGデータセットにわたる大規模な実験の結果、LI-DSNが13の最先端(SOTA)ベースラインを一貫して大きく上回り、その優れた頑健性とデコーディング性能を示すことが確認されます。コードは採択後に公開されます。