表現力のあるプロンプト：ゼロショットTTSにおける感情強度と話者一貫性の改善

Abstract

近年の音声合成の進歩により、大規模言語モデル（LLM）ベースのシステムが、入力プロンプトを通じて、内容、音色、話者同一性、感情を制御しながらゼロショット生成を行えるようになってきました。その結果、これらのモデルは生成プロセスを導くために、プロンプト設計に大きく依存しています。しかし、既存のプロンプト選択手法では、表現力のある音声合成に不可欠な、十分に安定した話者同一性の手がかりや、適切な感情の強度指標をプロンプトに含めることを保証できないことが多いです。 この課題に対処するために、我々は表現力のある音声合成のために特化した2段階のプロンプト選択戦略を提案します。静的段階（合成の前）では、まずピッチベースの韻律特徴、知覚的なオーディオ品質、ならびにLLMによって評価されるテキスト—感情の整合スコアを用いて、プロンプト候補を評価します。さらに、特定のTTSモデルの下で、合成音声とプロンプト音声の間の文字誤り率、話者類似度、感情類似度を測定することで候補を評価します。動的段階（合成中）では、テキスト類似性モデルを用いて、現在の入力テキストと最も整合するプロンプトを選択します。実験結果は、提案戦略が、高強度の感情表現と堅牢な話者同一性の両方を備えた音声を合成するためのプロンプトを効果的に選択できることを示しており、その結果、より表現力があり安定したゼロショットTTS性能につながります。音声サンプルとコードは https://whyrrrrun.github.io/ExpPro.github.io/ で利用可能です。