Qwen3 TTSは過小評価されている—ローカルでリアルタイム実行できて、試した中でも表現力が高いオープンTTSモデルだった

みなさん、こんにちは。

約1年ほど前に、楽しいサイドプロジェクトとしてPersona Engineをリリースして投稿しました。VTuberのようなリアルタイムのアバター（口パク）を用意しつつ、ASR -> LLM -> TTSの一連のパイプラインを完全にローカルで動かそうとしていました。これを実現できて結果にもとても満足していたのですが、私のTTSは確実に足りないところがありました。というのも、その当時はSesameを参照として使っていたからです。その後、しばらく長い休止期間を取りました。

一週間か二週間ほど前に、プロジェクトをアップデートしてみようと思い、あわせてローカルモデルがどこまで進歩したのかも確認したくなりました。そして、Qwen3 TTSには驚くほど良い意味でやられました（pleasantly surprised）。最初のテストでは不足が目立ちました。特にQwenチーム自身が公開しているバージョンではそうでした。でも、いろいろ掘り下げたり、たくさん実験したりした結果、私は以下をできるようになりました：

1. モデルでストリーミングが確実に動くようにする。モデルのアーキテクチャがこの用途にぴったりです。デコーダがスライディングウィンドウを使っているため、LLMの応答をストリームしてもまったく問題なく、TTSはプロソディ、ピッチ、イントネーションの一貫性を保ったまま続きます。
2. llama.cppで動くようにする。私はC#を使っているのでスピードが重要で、さらに量子化も行いました。
3. Kokoro（前の、よりロボットっぽく聞こえるTTS）にあった語レベルのタイミングやフォネムが、このモデルには不足していました。そのため、特定の単語がいつ話されるのかを把握できるように、CTCによる語レベルアライメントを実装する必要がありました（字幕にも必要ですし、フォネムが口の動きと正しく同期するためにも重要です）。

これらをすべて終えた後、私は自分自身のQwen3-TTSボイスをファインチューニングすることも決めました。クローン能力はとても素晴らしいのですが、文脈理解がかなり不足していて、発音の面で苦労します。さらに、Qwenチームが提供しているカスタム学習済みボイスには女性の母語話者がいなかったため、新しいLive2Dモデルを作りたくありませんでした。

結局、ファインチューニングの結果には本当に驚かされました。今後もたぶん改善を続けると思います。

GitHubはこちらです：https://github.com/fagenorn/handcrafted-persona-engine

ぜひチェックして、楽しんで、そしてこの先あなたがそれでやろうと思うどんなクレイジーなことでも教えてください。