TDMM-LM: 言語モデルを介して表情理解とアニメーションを結ぶ

要旨: テキスト指向の人間の身体のアニメーションは急速に進化しているが、適切に注釈付けされ、テキストと対になった顔のコーパスが不足しているため、表情アニメーションは遅れている。このギャップを埋めるべく、我々は基盤生成モデルを活用して、顔の挙動の大規模でバランスの取れたコーパスを合成する。感情と頭部の動きを網羅するプロンプト群を設計し、複数の生成器を用いて約80時間の顔動画を生成し、各フレームの3D顔パラメータを適合させ、学習用の大規模な（プロンプトとパラメータ）ペアを生み出す。 このデータセットを基に、私たちは顔のモーションに対する双方向の能力を、二つの補完的なタスクを通じて言語モデルで検証する。 一つ目は Motion2Language：3D顔パラメータの連なりを与えると、モデルは内容・スタイル・ダイナミクスを捉えた自然言語の説明を生成する。 二つ目は Language2Motion：プロンプトを与えると、モデルは下流のアニメーション用に量子化されたモーション・トークンを介して対応する3D顔パラメータの連続を合成する。 広範な実験は、この設定では言語モデルが表情モーションを解釈するとともに、強い一般化能力を持って合成できることを示している。われわれの知る限り、本研究は顔パラメータのモデリングを言語問題として扱う初の試みであり、テキスト条件付きの表情アニメーションとモーション理解への統一的な道を確立する。