EEGと動画を統合するためのマルチモーダル事前学習ネットワーク：発作検出

arXiv cs.CV / 2026/4/30

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、EEGと動画を同期させたマルチモーダル発作検出フレームワーク「EEGVFusion」を提案し、単一モダリティの弱点を補うことを目的としています。
EEGVFusionは、自己教師ありEEG表現学習、時空間動画エンコーディング、最適輸送（OT）アライメント、双方向クロスアテンションを組み合わせて、神経情報と行動情報を統合します。
著者らは、15匹のマウスから93セッションを収集した、専門家による注釈付きのEEG-動画データセットを作成し、学習と評価に用いました。
ランダムなセッション分割で、EEGVFusionはBalanced Accuracyが0.9957と非常に高く、イベント感度は完全（perfect）で、イベント誤警報率（Event FAR）は0.6250 FP/hと低い結果を報告しています。
被験体を1つ保持したテスト（Subject 110）でもBalanced Accuracy 0.9718を維持し、EEGのみのベースラインに対してEvent FARを2.7250から0.4833 FP/hへ大きく低減しつつ、イベント感度は保持されています；アブレーションではEEGの事前学習とOTアライメントが誤警報低減に寄与し、感度を損なわないことが示されました。