Brain3D：マルチモーダル推論によるEEGからの視覚表現の3D復元
arXiv cs.CV / 2026/4/10
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、一般的な2D復号ではなく、EEG信号から3Dの視覚表現を再構成することを目的としたマルチモーダルフレームワーク「Brain3D」を提案する。
- Brain3Dは段階的に動作する。まずEEGから視覚的に根付いた画像を生成し、次にマルチモーダルLLMを用いて構造化された3Dを意識した記述を作成する。その記述が拡散ベースの生成段階を導く。
- 拡散の出力は、単一画像から3Dへ変換するモデルによって一貫した3Dメッシュへ変換される。これによりEEGから3Dへの直接対応を避けつつ、スケーラビリティが向上する。
- 著者らは、復元結果を意味的な整合性と幾何学的忠実性の双方について、元の刺激との比較で評価し、「最大85.4%の10-way Top-1 EEG復号精度」や「0.648のCLIPScore」といった結果を報告している。
- 本研究は、マルチモーダル推論によりEEG駆動の3D生成を可能にすることで、神経復号の幾何学的適用範囲を拡張できると主張する。
