PhysHead：シミュレーション対応のガウス頭部アバター

Abstract

現実的なデジタル・アバターには、表情豊かで動的な髪のモーションが必要です。しかし、既存のほとんどの頭部アバター手法は、剛体のような髪の動きを前提としていることが多くあります。これらの手法ではしばしば、髪と頭部を適切に切り分けられず、髪を単純な外側の殻として表現してしまい、その自然なボリューム（立体的）挙動を捉えられません。本論文では、多視点ビデオから学習した現実的な髪のダイナミクスに基づく、アニメーション可能な頭部アバターのためのハイブリッド表現であるPhysHeadを導入することで、これらの制約に対処します。中核となるのは、頭部の3Dガウスに基づくレイヤード表現です。我々のアプローチは、頭部のための3Dパラメトリック・メッシュと、ストランド（髪の毛束）ベースの髪を組み合わせたもので、物理エンジンを用いて直接シミュレーションできます。外観モデルとして、頭部メッシュと髪のセグメントの両方に取り付けられたガウス・プリミティブを用います。この表現により、既存手法における剛体的な髪の制約を乗り越え、風であおられるような動きといった動的な髪挙動を備えたフォトリアルな頭部アバターの生成が可能になります。しかし、こうしたアニメーション能力には新しい学習設計も必要です。具体的には、動的な学習シーケンスで動的に見えなくなる領域の外観を生成するために、VLMベースのモデルの利用を提案します。定量的および定性的な実験により、提案モデルの能力を示し、既存のベースラインと比較します。さらに、我々の手法が、表情やカメラ制御に加えて、物理的に妥当な髪のモーションを合成できることを示します。