ProKWS: 音素と韻律の協調学習による個別化キーワードスポッティング

概要: 現在のキーワードスポッティングシステムは、混同しやすい単語を識別するために主に音素レベルの照合を使用しますが、プロソディ（イントネーション、強勢、リズム）といったユーザー固有の発音特性を無視します。本論文は ProKWS という新規フレームワークを提案します。細粒度の音素学習と個人化されたプロソディモデリングを統合します。私たちは、片方のストリームが対照学習を通じて頑健な音韻表現を導出し、もう片方が話者固有のプロソディパターンを抽出するデュアルストリームエンコーダを設計します。協調的な融合モジュールは音素情報と韻律情報を動的に組み合わせ、さまざまな音響環境への適応性を高めます。実験の結果、ProKWSは標準ベンチマークにおいて最先端モデルに匹敵する高い競争力を持つ性能を発揮し、音調と意図の変動を伴う個人化キーワードに対しても高い頑健性を示します。