FMSD-TTS：『U-Tsang、Amdo、Kham』音声データセット生成のための少数ショット多話者・多方言テキスト対音声合成

Abstract

チベット語は、3つの主要方言である「ウーツァン、アムド、カム」にまたがる並列の発話コーパスが最小限である、低リソース言語です。これが音声モデリングの進展を制限しています。この課題に対処するために、本研究ではFMSD-TTSを提案します。FMSD-TTSは、限られた参照音声と明示的な方言ラベルから、並列の方言音声を合成する、少数ショット・多話者・多方言のテキストから音声へのフレームワークです。本手法は、新規の話者—方言融合モジュールと、方言特化型ダイナミック・ルーティング・ネットワーク（DSDR-Net）を備えており、話者アイデンティティを保持しながら、方言間における微細な音響的・言語的変化を捉えます。広範な客観評価と主観評価の結果により、FMSD-TTSが、方言の表現力と話者の類似性の両面において、ベースラインを大きく上回ることを示します。さらに、合成音声の品質と有用性を、困難な音声から音声への方言変換タスクによって検証します。貢献は次のとおりです：（1）チベット語の多方言音声合成に特化した新規の少数ショットTTSシステム、（2）FMSD-TTSによって生成された大規模な合成チベット語音声コーパスの公開、（3）話者類似性、方言の一貫性、音質を標準化して評価するためのオープンソースの評価ツールキット。