WAND: 効率的な自己回帰テキスト読み上げモデルのためのウィンドウ付き注意機構と知識蒸留

要旨: 近年のデコーダのみの自己回帰的テキスト音声合成（AR-TTS）モデルは高音質な音声を生成できる一方で、完全な自己注意（self-attention）により、系列長に対してメモリと計算コストが二次的に増大します。本論文では、一定の計算量とメモリ計算量で動作するように事前学習済みAR-TTSモデルを適応させる枠組み「WAND（Windowed Attention and Knowledge Distillation）」を提案します。WANDは、注意機構を2つに分離します。条件付けトークンに対する持続的なグローバル注意と、生成トークンに対する局所的なスライディングウィンドウ注意です。微調整を安定化するために、注意ウィンドウを段階的に厳密化していくカリキュラム学習戦略を採用します。さらに、高データ効率のもとで高忠実度の合成品質を回復するために、完全注意の教師からの知識蒸留も利用します。3つの最新のAR-TTSモデルで評価した結果、WANDは元の品質を維持しつつ、最大でKVキャッシュのメモリを66.2%削減し、長さ不変で、1ステップあたりの遅延がほぼ一定であることを達成しました。