CAMEL-CLIP: 汎用性の高い脳基盤モデルのための、チャネル対応型マルチモーダルEEG-テキストアライメント

要旨：脳波（EEG）基盤モデルは、一般化可能な表現を学習する可能性を示してきたが、チャンネルの不均質性、たとえばチャンネル構成の変更や順序の変化などには依然として敏感である。私たちは、チャネル対応型のマルチモーダル EEG-テキスト整列対照型言語-画像前学習 CAMEL-CLIP を提案する。異種のチャネル構成に対して堅牢で、さまざまな下流タスクに広く適用可能な、対照的な EEG-テキストのマルチモーダル基盤モデルである。 CAMEL-CLIP は以下の3つの重要な要素を導入する：(1) チャネル属性ベースの位置エンコーディングで、意味情報を用いてチャネルを識別する；(2) 動的チャネル射影で、各チャネルを独立に射影し、特徴圧縮を行わずに可変長の埋め込みを生成する；(3) 二重レベルの対照学習で、チャネルレベルとサンプルレベルの対照学習を同時に行い、チャネル固有の特徴とグローバル信号の特徴の両方を捉える。実験結果は、CAMEL-CLIP が線形プロービングの下で最先端の性能を達成し、全ファインチューニングに依存する既存の基盤モデルを上回ることを示している。