大規模マルチビューからの高品質3Dガウス・ヘッド再構成：HeadsUp

要旨: 大規模なマルチカメラ環境から高品質な3Dガウスヘッドを再構成するための、スケーラブルなフィードフォワード手法「HeadsUp」を提案します。本手法は、入力視点をコンパクトな潜在表現へ圧縮する効率的なエンコーダ・デコーダアーキテクチャを用います。この潜在表現は、その後、中立的なヘッドテンプレートにアンカーされた、UVパラメータ化された一連の3Dガウスへデコードされます。このUV表現により、3Dガウスの数は、入力画像の枚数や解像度から切り離されます。これにより、多数の高解像度入力視点を用いた学習が可能になります。私たちは、10,000人を超える被験者を含む内部データセットでモデルの学習と評価を行いました。これは、既存のマルチビュー人間の頭部データセットに比べて1桁大きい規模です。HeadsUpは最先端の再構成品質を達成し、テスト時の最適化なしで新規アイデンティティへも汎化します。さらに、アイデンティティ、視点、モデル容量にわたるモデルのスケーリング挙動を徹底的に分析し、品質と計算量のトレードオフに関する実践的な知見を明らかにします。最後に、潜在空間の強みを示すため、2つの下流アプリケーションとして、(1) 新たな3Dアイデンティティの生成と、(2) 表情ブレンドシェイプで3Dヘッドをアニメーション化することを紹介します。