フィードフォワード・ガウススプラッティングによるリアルタイム人体再構成とアニメーション

概要: 本論文では、人の3D再構成とリアルタイムアニメーションのための、一般化可能なフィードフォワード型ガウス・スプラッティング（Gaussian splatting）フレームワークを提示します。この手法は、複数視点のRGB画像と、それに対応するSMPL-Xポーズに直接作用します。深度教師、固定された入力視点、UVマップ、あるいは各ターゲット視点やポーズごとに繰り返しフィードフォワード推論を行うことに依存する従来手法とは異なり、提案手法は正準（canonical）ポーズにおいて、各SMPL-X頂点に関連付けられた一連の3Dガウス原始（primitives）を予測します。1つのガウスはSMPL-X表面に近い状態を保つよう正則化され、強力な幾何学的事前知識と、パラメトリックな身体モデルへの安定した対応付けを提供します。一方で、各頂点に対する追加の小さな範囲の拘束なしガウス群により、衣服や髪の毛のように、パラメトリック表面から逸脱する幾何構造を表現することが可能になります。HumanRAMのような近年の手法とは対照的に、そこでは新しいポーズを合成するためにネットワーク推論を繰り返す必要がありますが、本手法は単一のフォワードパスからアニメ可能な人体表現を生成します。ガウス原始をSMPL-X頂点に明示的に対応付けることで、再構成されたモデルは追加のネットワーク評価なしに、線形ブレンドスキニング（linear blend skinning）によって効率的にアニメーション化できます。本手法をTHuman 2.1、AvatarReX、THuman 4.0の各データセットで評価したところ、最先端手法と同等の再構成品質を達成しつつ、リアルタイムアニメーションとインタラクティブなアプリケーションを独自にサポートします。コードと事前学習済みモデルは https://github.com/Devdoot57/HumanGS で利用可能です。