Brain-CLIPLM：EEGから言語復元を行うための圧縮セマンティック表現のデコード

要旨: 非侵襲的脳波（EEG）から自然言語を復号することは、低い信号対雑音比と限られた情報帯域によって本質的に制約されたままです。これは、そのような信号から文レベルの言語構造を確実に復元できるのか、という根本的な問いを提起します。本研究では、この仮定は現実的な情報制約の下では成り立たない可能性があることを示し、その代わりに、EEG信号が完全な言語構造ではなく、圧縮された意味アンカーの集合を符号化するという意味圧縮仮説を提案します。この新しい視点では、直接的な文の再構成は、EEGが本来持つ情報容量に対して過剰パラメータ化された目的となります。この不整合に対処するために、本研究ではBrain-CLIPLMを導入します。これは2段階の枠組みで、まず対照学習によってEEGから意味アンカーを抽出し、次にChain-of-Thought（CoT）推論を伴うリトリーバルに基づいた大規模言語モデル（LLM）で文再構成を行います。さらに、復号の複雑さを神経の情報容量に一致させる粒度整合原理に従います。Zurich認知言語処理コーパスで評価したところ、Brain-CLIPLMは文リトリーバル精度でそれぞれ67.55\%のtop-5、85.00\%のtop-25を達成し、直接復号のベースラインを大幅に上回りました。また、被験者間評価により堅牢な汎化が確認されます。順列検定を含むコントロール解析でも、EEG由来の表現が言語モデルの事前知識を超えた文固有の情報を保持していることがさらに示されます。これらの結果は、EEGからテキストへ復号することは、完全な文を再構成することよりも、圧縮された意味内容を回復することとして捉える方が適切であることを示唆しています。これは、生物学的に根拠のある、かつデータ効率の高い非侵襲型ブレイン・コンピュータ・インタフェースのための道筋を提供します。