フィードフォワード型ガウス登録による頭部アバターの作成と編集

要旨: MATCH（Topologically Corresponding Heads からのマルチビューアバター）、高品質な頭部アバターの作成と編集のためのマルチビュー Gaussian 登録法を提案します。最先端のマルチビュー頭部アバター手法は、時間のかかる頭部トラッキングと高価なアバター最適化を必要とし、多くの場合、作成全体の時間が1日以上になることがあります。MATCH は、キャリブレーション済みのマルチビュー画像から対応付けに基づいてガウススプラットテクスチャを直接予測し、フレームあたりわずか0.5秒で処理します。データ前処理を必要としません。フレーム間で学習された同一被写体内の対応付けは、個人化された頭部アバターの迅速な作成を可能にするとともに、被写体間の対応付けは、表現転送、最適化不要の追跡、セマンティック編集、アイデンティティ補間などの応用を支えます。私たちはテンプレートメッシュの固定UVレイアウト上でガウススプラットテクスチャを予測するトランスフォーマーベースのモデルを用いて、これらの対応付けをエンドツーエンドで確立します。これを実現するために、登録に導かれた新しいアテンションブロックを導入します。各UVマップトークンは、対応するメッシュ領域を描く画像トークンのみに専ら注意を向けます。この設計は、密なクロスビューアテンションと比較して、効率と性能を向上させます。 MATCH は、新規ビュー合成、ジオメトリ登録、および頭部アバター生成において既存の手法を上回り、アバター作成を最も近い競合ベースラインより10倍速くします。コードとモデルのウェイトは、プロジェクト公式ウェブサイトで公開されています。