合成音声の感情理解に関する研究

要旨: 感情は音声対話における核となるパラ言語的特徴である。感情を理解するモデルは、感情理解の基礎表現を学習し、それが合成音声へ転移することが広く信じられており、その結果として感情理解の成果は音声合成における感情表現性を評価するための妥当な報酬または評価指標となる。本研究では、この仮定を批判的に検討するため、データセットを横断して、合成音声に対する Speech Emotion Recognition（SER）を、データセット間で、識別型および生成型 SER モデル、そして多様な合成モデルを体系的に評価します。私たちは、現在の SER モデルは合成音声へ一般化できないことが多いことを発見します。主に、合成時の音声トークン予測が、合成音声と人間の音声の間に表現の不一致を生じさせるためです。さらに、生成型の Speech Language Models（SLMs）は、パラ言語的手がかりを無視しつつ、テキストの意味論から感情を推測する傾向があります。全体として、既存の SER モデルは、基本的な特徴を捉えるのではなく、頑健でないショートカットを利用することが多いこと、そして SLM におけるパラ言語的理解は依然として困難であることを示唆します。