Laya: EEGに対する LeJEPA アプローチ — 再構成ではなく潜在表現の予測

要旨: EEG（脳波計測）は、脳機能を研究するために広く用いられているツールで、臨床神経科学、診断、ブレイン・コンピューター・インターフェース（BCI）などの応用がある。最近、大規模なラベルなしコーパスで訓練されたEEGファウンデーションモデルは、移植可能な表現を学ぶことを目的としているが、その有効性は未だ不明である。小型のタスク特化型モデルと比較した改善はしばしば控えめで、下流の適応・ファインチューニング戦略に敏感で、リニアプロービングの下では限定的である。私たちは、一因として信号再構成を主要な自己教師あり学習（SSL）目的とすることに依存している点が挙げられると仮定する。これにより、表現はタスクに関連する神経構造よりも高分散のアーティファクトへ偏ってしまう。この制限に対処するため、潜在表現を再構成する代わりに予測することによって学習するJoint Embedding Predictive Architectures（JEPA）に基づくSSLパラダイムを探究する。初期のJEPA風手法は訓練の安定性を保証するために追加のヒューリスティクスに依存することが多いが、LeJEPAのような最近の進歩はより原理的で安定した定式化を提供する。我々はLeJEPAに基づく最初のEEGファウンデーションモデルであるLayaを導入する。さまざまなEEGベンチマークにおいて、Layaは再構成ベースのベースラインと比較してリニアプロービング時の性能向上を示しており、潜在予測目的が移植可能で高レベルなEEG表現を学習する有望な方向性を提供することを示唆している。