EEG2Vision：認知神経科学における2次元視覚再構成のためのマルチモーダルEEGベースのフレームワーク

Abstract

非侵襲的な脳波（EEG）から視覚刺激を再構成することは、特に現実的な低密度電極構成のもとでは、空間分解能が低く高ノイズであるために依然として困難です。これに対処するために、本研究ではEEG2Visionを提案します。これは、異なるEEG分解能（128、64、32、24チャンネル）にわたって再構成性能を体系的に評価し、プロンプトに導かれたポスト・リコンストラクションのブースティング機構により視覚品質を向上させる、モジュール式のエンドツーエンド「EEGから画像」フレームワークです。EEG条件付き拡散による再構成から開始し、ブースティング段階ではマルチモーダルの大規模言語モデルを用いて意味記述を抽出し、画像から画像への拡散を活用して、EEGに基づく構造を保持しつつ、幾何学と知覚的な一貫性を洗練します。実験の結果、チャンネル削減に伴い意味復号の精度が大きく低下することが示されました（例：50-way Top-1 Accが89%から38%へ）。一方で再構成品質はわずかに低下します（例：FIDが76.77から80.51へ）。提案するブースティングは、すべての構成において知覚指標を一貫して改善し、低チャンネル設定では最大9.71%のIS向上を達成します。ユーザースタディにより、ブーストされた再構成に対する明確な知覚上の好みが確認されました。本アプローチは、低分解能EEGデバイスを用いたリアルタイムの「脳から画像」アプリケーションの実現可能性を大きく高め、実験室外でこの種のアプリケーションを可能にする可能性があります。