階層型コーデック拡散によるビデオから音声の生成

要旨: 音声対映像生成（Video-to-Speech: VTS）は、無音の動画から聴覚信号なしに音声を合成することを目指す。しかし、既存のVTS手法は、粗い話者に関する意味から微細な韻律（プロソディ）情報までを包含する、音声の階層性を無視している。この見落としにより、プロパティ・マッチングの際に特定の階層レベルで、視覚特徴と音声特徴を直接に整列させることが妨げられる。本論文では、Residual Vector Quantization（RVQ）ベースのコーデックの階層構造を活用し、離散的な音声トークンの内在する階層性を用いて強固な音声-映像アライメントを実現する、新しい階層型コーデック・ディフュージョン・トランスフォーマであるHiCoDiTを提案する。具体的には、低レベルのトークンは話者に関する粗い意味を符号化し、高レベルのトークンは微細な韻律を捉えるため、HiCoDiTは異なるレベルでトークンを生成するために、低レベルおよび高レベルのブロックを用いる。低レベルブロックは、口唇同期した運動と顔の同一性に条件付けして話者に関する内容を捉え、一方で高レベルブロックは表情を用いて韻律ダイナミクスを調整する。最後に、より効果的な粗→細の条件付けを可能にするため、チャネル方向の正規化によってチャネルごとにグローバルな発声スタイルを捉え、時間方向の正規化によって局所的な韻律ダイナミクスを捉える、デュアルスケールのアダプティブ・インスタンス層正規化を提案する。大規模な実験により、HiCoDiTが忠実性と表現力の両面でベースラインを上回ることが示され、VTSにおける離散的モデリングの可能性が強調される。コードおよび音声デモはいずれも https://github.com/Jiaxin-Ye/HiCoDiT で利用可能である。