LiTo: 表面ライトフィールドのトークン化

要約: 私たちは、オブジェクトの幾何と視点依存の外観を共同でモデリングする3D潜在表現を提案します。従来の多くの研究は、3D幾何の再構成または視点非依存の拡散外観の予測のいずれかに焦点を当てており、現実的な視点依存効果を捉えるのが難しいです。私たちのアプローチは、RGB-D画像が表面ライトフィールドのサンプルを提供するという事実を利用します。表面ライトフィールドのランダムなサブサンプルを、コンパクトな潜在ベクトルの集合にエンコードすることにより、幾何と外観を統一された3D潜在空間に表現することを学習します。この表現は、複雑な照明条件下での鏡面ハイライトやフレネル反射といった視点依存効果を再現します。さらに、この表現上で潜在フロー・マッチングモデルを訓練して、その分布を単一の入力画像で条件付けて学習し、入力の照明と材料に一貫した外観を持つ3Dオブジェクトの生成を可能にします。実験では、私たちのアプローチが既存手法より高い視覚品質とより良い入力忠実度を達成することを示しています。