要旨: EEG からの視覚刺激再構成は、忠実度の低下と表現のずれのため依然として困難です。私たちは CognitionCapturerPro を提案します。協調トレーニングを通じて、EEG とマルチモーダル事前情報（画像、テキスト、深度、エッジ）を統合する強化されたフレームワークです。私たちの本質的な貢献には、モダリティ固有の忠実度を定量化する不確実性加重類似度スコアリング機構と、共有表現を統合するフュージョンエンコーダが含まれます。簡略化されたアライメントモジュールと事前学習済みの拡散モデルを採用することにより、私たちの手法は THINGS-EEG データセットにおいて元の CognitionCapturer を大きく上回り、Top-1 および Top-5 の検索精度をそれぞれ 25.9%、10.6% 向上させました。コードは以下で公開されています: https://github.com/XiaoZhangYES/CognitionCapturerPro.
CognitionCapturerPro: 多モーダル情報と非対称アライメントを用いたEEG/MEGからの高忠実度視覚デコードを目指して
arXiv cs.AI / 2026/3/16
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- CognitionCapturerProは、協調学習を通じてEEGと多モーダル事前情報（画像、テキスト、深度、エッジ）を統合する強化されたフレームワークを提案します。
- モダリティ固有の忠実度を定量化する不確実性加重の類似度スコアリング機構と、共有表現を統合する融合エンコーダを導入します。
- このアプローチは簡略化されたアライメントモジュールと事前訓練済み拡散モデルを活用して、EEGからの視覚再構成を向上させます。
- THINGS-EEGデータセットで、元のCognitionCapturerを上回り、Top-1とTop-5のリトリーバル精度をそれぞれ25.9%、10.6%改善しました。
- 著者らは、再現性のためにリンク先のGitHubリポジトリにコードを提供しています。
