SentiAvatar: 表現力豊かでインタラクティブなデジタルヒューマンに向けて

Abstract

本稿では、表情豊かなインタラクティブ3Dデジタルヒューマンを構築するためのフレームワークであるSentiAvatarを提示し、これを用いて、実時間で話し、身振りを行い、感情表出する仮想キャラクタSuSuを作成します。このようなシステムの実現は依然として困難です。なぜなら、それには次の3つの主要課題を同時に解決する必要があるからです。すなわち、大規模で高品質なマルチモーダルデータの欠如、堅牢なセマンティックからモーションへの対応付け、そしてフレーム単位のきめ細かなモーション‐プロソディ同期です。これらの課題を解決するために、まず、単一キャラクタの周囲で光学式モーションキャプチャによって収録した対話コーパスであるSuSuInterActs（21Kクリップ、37時間）を構築します。このコーパスは、同期された音声、全身動作、顔の表情を含みます。次に、200K+のモーションシーケンスでMotion Foundation Modelを事前学習し、会話の範囲を大きく超える豊富なアクションの事前知識を与えます。さらに、文レベルの意味論的な計画立案と、フレームレベルのプロソディに基づく補間を切り離す、音声認識に注意を向けた「plan-then-infill（計画してから補間する）」アーキテクチャを提案します。これにより、生成された動作は意味論的に適切であり、かつ音声とのリズム的な整合も取れます。実験の結果、SentiAvatarはSuSuInterActs（R@1 43.64%、最良のベースラインの約2倍）およびBEATv2（FGD 4.941、BC 8.078）の両方で最先端の性能を達成し、無制限のマルチターン・ストリーミングで0.3秒で6秒分の出力を生成できることが示されました。ソースコード、モデル、データセットは https://sentiavatar.github.io で利用可能です。