PartNerFace: アニメ可能な顔面アバター再構成のためのパーツベースNeural Radiance Fields

Abstract

単眼RGB動画からアニメーション可能な顔面アバターを再構成するための、パート（部位）ベースのニューラル放射輝度場（Neural Radiance Fields）アプローチであるPartNerFaceを提示します。既存の手法は、モーフィング可能モデルのパラメータで陰的ネットワークを単に条件付けるか、あるいは架空のカノニカル放射輝度場を学習することで解決しようとしており、未見の表情に対して一般化できないうえ、微細な動きの詳細を捉えられません。これらの課題に対処するために、まず、観測された点をカノニカル空間へ写像するため、パラメトリックなヘッドモデルに基づく逆スキニングを適用します。次に、微細なモーションをパートベースの変形場でモデル化します。私たちの重要な洞察は、顔の異なる部位の変形は異なる方法でモデル化されるべきだという点です。具体的には、パートベースの変形場は、カノニカル空間を複数の部位に適応的に分割するための複数のローカルMLPで構成されており、3D点の変形は、ソフト重み付け機構によってすべてのローカルMLPの予測を集約することで計算されます。大規模な実験により、本手法が未見の表情に対してうまく一般化でき、微細な顔の動きをモデル化可能であることが示されます。また、定量的にも定性的にも、最先端手法を上回ります。