LuMamba: 電極トポロジー不変かつ効率的な EEG モデリングのための潜在的統一マムバ

概要: 脳波計測（EEG）は臨床および神経技術アプリケーション全体で非侵襲的な脳活動のモニタリングを可能にしますが、EEGの基盤モデルを構築することは、\emph{異なる電極トポロジー}と\emph{計算スケーラビリティ}のため依然として困難です。Transformer アーキテクチャは二次的なシーケンス計算量を要します。共同解法として、\textbf{LuMamba} (\textbf{L}atent \textbf{U}nified \textbf{Mamba})、トポロジー不変のエンコードと線形計算量の状態空間モデリングを組み合わせた自己教師付きフレームワークを提案します。チャネル統合のためにLUNAの学習済みクエリ・クロスアテンション機構~\cite{luna}、および効率的な時系列モデリングのためのFEMBAの双方向のMambaブロック~\cite{femba}を使用します。 このアーキテクチャの下で、生体信号学習のための Latent-Euclidean Joint-Embedding Predictive Architecture (LeJEPA) の最初の系統的検討を提供します。TUEGコーパスからのラベルなしEEGを21,000時間超で事前学習した LuMamba は、16 チャンネルから26 チャンネルまでの電極構成にわたる異常検知、アーチファクト認識、精神状態分類を含む5つの下流タスクで評価されます。事前学習の目的において、マスク付き再構成のみは構造化されたが一般化性の低い表現を生み出し、LeJEPA のみは分散的な埋め込みを生み出します。両方の目的を組み合わせると、最も頑健な性能を達成します。わずか 4.6M パラメータで LuMamba は TUAB で 80.99% のバランス精度を達成し、アルツハイマー病検出における最先端の性能（0.97 AUPR）を達成します。一方、同等のシーケンス長で最先端モデルより \textbf{377\times 少ない FLOPS} を必要とし、通常の GPU メモリ制限に達する前に \textbf{12\times 長いシーケンス} へとスケールします。コードは https://github.com/pulp-bio/biofoundation で公開されています。