SMAL-pets: 単一画像から生成する SMAL ベースのペット用アバター

概要: 高忠実度で、アニメーション可能な3D犬のアバターを作成することは、コンピュータビジョンにおいて依然として大きな課題です。人間のデジタルダブルとは異なり、動物の再構成は専門的な用途のための大規模で注釈付きデータセットの深刻な不足に直面しています。さらに、種、品種、交雑種を超える巨大な形態的多様性は、サイズ、比率、特徴が大幅に異なるため、既存のモデルの一般化を複雑にします。現在の再構成手法は、現実的な毛並みの質感を捉えるのが難しいことが多いです。さらに、これらのアバターを完全に編集可能で、複雑で自然な動きを実行できるようにするには、通常、労働集約的な手動メッシュ操作と専門家のリギングを必要とします。本論文は、単一の入力画像から高品質で編集可能な動物アバターを生成する総合的なフレームワークであるSMAL-petsを紹介します。私たちのアプローチは、ハイブリッドアーキテクチャを活用することで、再構成と生成モデル間のギャップを埋めます。私たちの手法は、3Dガウシアン・スプラッティングとSMALパラメトリックモデルを統合し、視覚的に高忠実で解剖学的に根拠のある表現を提供します。テキストプロンプトを直接使用してアバターの外観を精錬し、複雑なアニメーションを実行できる、マルチモーダル編集スイートを導入します。自然言語を介してモデルの美的および行動的側面の両方をユーザーに制御させることで、SMAL-petsはアニメーションと仮想現実のための柔軟で堅牢なツールを提供します。