NBAvatar: リアルな手-顔相互作用を備えたニューラル・ビルボード・アバター

NBAvatar - 手と顔の相互作用によって生じる非剛性変形を扱う頭部アバターのリアルなレンダリング手法 NBAvatarを提案します。アニメーション化されたアバターの新しい表現を導入します。これは、向きを持つ平面プリミティブの訓練とニューラルレンダリングを組み合わせたものです。この明示的表現と暗黙的表現の組み合わせにより、NBAvatarは時間的・姿勢的一貫性を持つジオメトリと、ニューラルレンダリング手法によって提供される細かな外観ディテールの両立を実現します。私たちの実験では、NBAvatarが顔-手の相互作用による色の変換を暗黙的に学習することを示し、新規ビューおよび新規ポーズのレンダリング品質の点で既存のアプローチを上回ることを示します。具体的には、NBAvatarは高解像度のメガピクセルレンダリング環境下でGaussianベースのアバター手法と比較して最大で30%のLPIPS低減を達成し、PSNRとSSIMを改善し、最先端の手-顔相互作用手法InteractAvatarと比較して構造的類似性も高くなることを示します。