MoDAl：デコリレーションによる自己教師ありニューロモダリティ発見—スピーチ神経補綴のために

要旨: 音声ニューロプロステーシス・システムは、聴覚的な出力がない状況でも、神経活動から意図された音声を復号し、発話を損なう状態にある人々のコミュニケーションを回復するための道を提供します。現在の手法は主に運動皮質領域から復号し、それ以外――例えばブローカ野の一部である44野――は捨て去っています。これらの領域は補完的な言語情報を符号化している可能性があります。本研究では、共有する射影空間において2つの目的の相互作用によって補完的な神経モダリティを発見する枠組み MoDAl（Modality Decorrelation and Alignment）を提案します。コントラスト学習による損失は、複数の並列な脳エンコーダそれぞれを、事前学習済みの大規模言語モデル（LLM）のテキスト埋め込みに整合させます。一方、デコリレーション損失は、エンコーダが重複する表現へとまとまってしまうことを防ぎます。これらの目的が生産的な緊張関係にあることを証明します。すなわち、コントラストによる整合は推移的なモダリティの凝集を誘発し、枠組みが多様なニューロ言語モダリティを発見するためには、デコリレーションがそれを相殺する必要があります。Brain-to-Text Benchmark '24 において、MoDAl は従来の最良のエンドツーエンド手法と比べて、単語誤り率（WER）を 26.3% から 21.6% に低減します。44野の信号を取り込むことで得られる改善は、完全にデコリレーション機構によって生じました。発見されたモダリティの分析から、機能的な特化が明らかになります。44野入力を受け取るエンコーダは、構造的および統語的な性質（文の長さ、文法的な態、wh-words）を捉え、その内容はブローカ野に関するニューロ言語学的理解と整合しています。