3Dガウスアバターのための自己回帰的外観予測

Abstract

写実的で没入感のある人間アバター体験を実現するには、衣服や髪のダイナミクス、微細な表情、特徴的な動きのパターンといった、個人ごとの細部を捉える必要があります。これを達成するには大規模で高品質なデータセットが不可欠ですが、非常に似たポーズが異なる見た目に対応する場合、曖昧さや不適切な相関が生じがちです。これらの詳細を学習時に適合させるモデルは過学習し、新しいポーズに対して見た目が不安定かつ急激に変化することがあります。そこで本研究では、ポーズと外観の潜在表現の両方に条件付けられた空間MLPバックボーンを備えた3Dガウススプラッティングのアバターモデルを提案します。この潜在表現は学習時にエンコーダによって学習され、コンパクトな表現を得ることで再構成品質を向上させ、ポーズに起因するレンダリングの曖昧さを解消するのに役立ちます。駆動時には、予測器が自己回帰的に潜在表現を推論し、その結果、時間的に滑らかな外観の変化と、安定性の向上が得られます。全体として、本手法は高い忠実度と安定したアバター駆動への、堅牢で実用的な道筋を提供します。