学習可能なB-スプライン体積による3Dフェイスの表現

概要: 人の顔のための新しい幾何学的表現であるCUBE（Control-based Unified B-spline Encoding）を提示します。これはBスプラインのボリュームと学習された特徴を組み合わせたもので、3Dスキャンのレジストレーションのデコーダとして、ならびに単眼の3D顔復元における使用例を示します。3D制御点によってパラメータ化されている既存のBスプライン表現とは異なり、CUBEは高次元の制御特徴の格子（例: 8×8×8）によってパラメータ化されており、モデルの表現力を高めています。これらの特徴は、3Dのパラメトリックな領域から中間の特徴空間を介して3Dユークリッド空間へ至る、連続的な2段階の写像を定義します。まず、高次元の制御特徴をBスプライン基底によって局所的にブレンドし、高次元の特徴ベクトルを得ます。この特徴ベクトルの最初の3つの値が3Dベースメッシュを定義します。次に、小さなMLPがこの特徴ベクトルを処理して、ベース形状からの残差変位を予測し、その結果として最終的に洗練された3D座標が得られます。密な意味的対応関係における3D表面の復元のために、CUBEは固定されたテンプレートメッシュからサンプリングされた3D座標で照会（クエリ）されます。重要な点として、CUBEは従来のBスプライン表現が持つ局所支持性（local support）を保持しており、個々の制御特徴を更新することで局所的な表面編集を可能にします。この表現の強みを、トランスフォーマーベースのエンコーダを学習させて、非構造化点群および単眼画像からCUBEの制御特徴を予測することで実証します。その結果、最近のベースラインと比較して、最先端のスキャンレジストレーション性能を達成します。