EAD-Net：空間的リファインメントと時間的コヒーレンスを備えた感情認識トーキングヘッド生成

概要: 感情のあるトーク頭部ビデオ生成は、正確な口形（リップシンク）同期と感情的な顔の表情を備えた、表情豊かなポートレート映像を生成することを目的とする。現在の手法は単純な感情ラベルに依存しており、十分な意味情報が得られない。高レベルの意味を導入すると表現力は高まるが、リップシンクの劣化が起きやすい。さらに、主流の生成手法は、長尺動画において計算効率とグローバルな動きの認識の両立に苦労しており、また時間的な一貫性（テンポラル・コヒーレンス）が不十分である。そこで本研究では、
\textbf{E}motion-
\textbf{A}ware
\textbf{D}iffusion モデルに基づく
\textbf{Net}work を提案する。提案手法は
\textbf{EAD-Net} と呼ばれる。多モーダル融合によって引き起こされるリップシンク劣化を緩和するために、SyncNet による監督と、Temporal Representation Alignment（TREPA）を導入する。長尺動画系列における複雑な時空間依存をモデル化するために、ストリップ注意（strip attention）によってグローバルな動きのパターンを捉える Spatio-Temporal Directional Attention（STDA）機構を提案する。加えて、Temporal Frame グラフ推論モジュール（TFRM）を設計し、グラフ構造学習を通じて動画フレーム間の時間的な一貫性を明示的にモデル化する。感情の意味的制御を強化するために、大規模言語モデルを用いて実動画からテキスト記述を抽出し、高レベルの意味的ガイダンスとして活用する。HDTF および MEAD データセットに関する実験により、本手法が口形同期精度、時間的一貫性、感情精度の観点で既存手法を上回ることを示す。