エンドツーエンド音声復号のための種をまたぐニューラル基盤モデル

要旨: 音声ブレイン・コンピュータ・インタフェース（BCI）は、神経活動をテキストに変換することで、麻痺のある人のコミュニケーションを回復することを目指している。ほとんどのシステムはカスケード（直列）型の枠組みを用い、まず音素をデコードしてから、n-gram言語モデル（LM）によって文を組み立てる。そのため、すべての段階を同時に共同最適化することができない。ここでは、単一の微分可能なニューラルネットワークによって神経活動を首尾一貫した文へと変換する、エンドツーエンドのBrain-to-Text（BIT）フレームワークを提案する。我々のアプローチの中核は、タスク間・種間の事前学習を行ったニューラルエンコーダであり、その表現は、試行された音声と想像された音声の両方に転移する。このようなカスケード設定でn-gram LMを用いる場合、事前学習済みエンコーダがBrain-to-Textの『24および『25ベンチマークにおいて新たな最先端（SOTA）を確立する。音声の大規模言語モデル（LLM）とエンドツーエンドで統合し、クロスモーダル整合のためのコントラスティブ学習で学習することで、BITは先行するエンドツーエンド手法の単語誤り率（WER）を24.69%から10.22%へと低減する。特に、小規模な音声LLMがエンドツーエンドのデコーディングを大幅に改善することを見出した。記録を更新する性能に加えて、BITは試行された音声と想像された音声の埋め込みを整合させ、タスク間の汎化を可能にする。総じて本アプローチは、大規模で多様なニューラルデータセットの統合を前進させ、シームレスな微分可能最適化を支えるエンドツーエンドのデコーディング枠組みへの道を拓く。