双曲線モックス・カーブチャ・エキスパートによるEEGベースのマルチモーダル学習

Abstract

脳波（EEG）に基づくマルチモーダル学習は、脳の信号と相補的なモダリティを統合してメンタル状態の評価を改善し、大きな臨床的可能性を提供します。このようなパラダイムの有効性は、異種モダリティ上での表現学習に大きく依存します。EEGベースのパラダイムにおいて有望なアプローチの1つは、その階層構造を活用することです。近年の研究では、EEGと関連するモダリティ（例：表情）が、複雑な認知プロセスを反映する階層構造を示すことが明らかになっています。しかし、ユークリッド埋め込みは、その平坦な幾何学のためにこれらの階層構造を表現するのが難しい一方で、指数的増大の性質を持つ双曲空間はそれらに自然に適しています。本研究では、マルチモーダル・ニューロテクノロジーのための新しい双曲混合・曲率エキスパート枠組みであるEEG-MoCEを提案します。EEG-MoCEは、各モダリティを学習可能な曲率を持つ双曲空間内のエキスパートに割り当て、各モダリティ固有の幾何学を適応的にモデリングできるようにします。次に、曲率を考慮した融合戦略によってエキスパートに対する重み付けを動的に行い、より豊富な階層情報を持つモダリティを強調します。ベンチマークデータセットに関する大規模な実験により、EEG-MoCEが感情認識、睡眠段階推定、認知評価を含む、最先端の性能を達成することを示します。