表情に感情を取り戻す：フィードフォワードの単一画像3Dヘッドアバターにおける明示的な感情制御

アブストラクト: 我々は、順伝播型の単一画像3D頭部アバター再構成における、明示的な感情制御のための枠組みを提示する。感情が幾何学や外観と暗黙に絡み合っている既存のパイプラインとは異なり、我々は感情を第一級の制御信号として扱い、アイデンティティをまたいで独立にかつ一貫して操作可能にする。我々の手法は、既存の順伝播アーキテクチャの中核設計を変更することなく、デュアルパス・モジュレーション機構によって感情を既存の順伝播アーキテクチャへ注入する。幾何学モジュレーションは、元のパラメトリック空間において感情に条件付けされた正規化を行い、音声に駆動される関節（アーティキュレーション）から感情状態を切り離す。一方で外観モジュレーションは、幾何学の範囲を超えた、アイデンティティを意識した感情依存の視覚的手がかりを捉える。この設定のもとで学習を可能にするために、我々は、アイデンティティ間で整列した感情ダイナミクスを転送することで、時間同期された、感情一貫性のあるマルチアイデンティティ・データセットを構築する。複数の最先端バックボーンに統合することで、本枠組みは再構成および再演（reenactment）の忠実性を維持しつつ、制御可能な感情転送、切り離された操作、滑らかな感情補間を可能にする。表現力とスケーラブルな3D頭部アバターを前進させる。