SENS-ASR: Streaming Automatic Speech Recognitionのためのニューラル・トランスデューサにおける意味埋め込みの注入

要旨: 多くの自動音声認識（ASR）アプリケーションでは、音声データのストリーミング処理が必要です。ストリーミングモードでは、ASRシステムは入力ストリームが完全でなくても転写を開始する必要があり、すなわち将来の文脈が制限された（あるいは全くない）状態で入力ストリームを処理しなければなりません。オフラインモードと比較して、将来の文脈のこの削減は、特に低遅延制約下でのストリーミングASRシステムの性能を低下させます。本研究では、音響情報を意味情報で補うことによってストリーミングASRの転写品質を向上させるアプローチであるSENS-ASRを提示します。この意味情報は、利用可能な過去のフレーム埋め込みから抽出され、コンテキストモジュールによって処理されます。このモジュールは、訓練データセットの転写でファインチューニングされた文埋め込み言語モデルからの知識蒸留を使用して訓練されます。標準データセットでの実験は、SENS-ASRが小さなチャンクのストリーミングシナリオで単語誤り率を著しく改善することを示しています。