5GB VRAMピークの小型TTSモデルを21GPUでベンチマーク

vast.aiで、少しずつ異なるGPUをそれぞれ数分間レンタルして、小型TTSモデルであるOmniVoiceのベンチマークを行いました。ピークVRAM使用量は約5GBでした。これらの主にコンシューマ向けGPUが、私自身のRTX 3090と比べてどの程度の性能差があるのかを見たかったのです。

これは決して網羅的、または科学的な分析ではありませんが、これらのGPU同士が互いに比べてどれくらいの性能を出すのか、おおよその目安は示していると思います。

xRTはリアルタイムの何倍かを意味します。GPUがリアルタイムよりもどれだけ速く音声を生成できるかを示します。参照音声が提供された小さな段落の3回の実行結果の平均（ボイスクローニング）です。