UNICA：制御可能な3Dアバターのための統一型ニューラルフレームワーク

Abstract

制御可能な3D人体アバターは、3Dゲーム、メタバース、AR/VRシナリオなど幅広い用途で活用されています。従来の手法でこのような3Dアバターを作成するには、外観モデリング、モーション計画、リギング、物理シミュレーションを含む、長く複雑なパイプラインが必要です。本論文では、UNICA（UNIfied neural Controllable Avatar）を提案します。これは、スケルトンなしの生成モデルであり、アバター制御の各コンポーネントをすべて単一のニューラルフレームワークに統合します。ビデオゲームの操作に似たキーボード入力を与えると、UNICAは2Dポジションマップ上で動作する、アクション条件付き拡散モデルにより、3Dアバターのジオメトリの次のフレームを生成します。続いてポイントトランスフォーマが、その生成されたジオメトリを3D Gaussian Splattingへ写像し、高精細な自由視点レンダリングを実現します。本手法は、手動で設計した物理シミュレーションなしに、自然に髪やだぶついた衣服のダイナミクスを捉え、さらに非常に長い自己回帰生成にも対応します。私たちの知る限り、UNICAは「モーション計画、リギング、物理シミュレーション、レンダリング」というワークフローを統合する最初のモデルです。コードは https://github.com/zjh21/UNICA で公開されています。