画像ガイド付き3Dメッシュの幾何学的スタイリゼーション

要旨: 最近の生成モデルは、物体の視覚的にもっともらしい3D表現を生成できます。しかし、生成プロセスでは、文脈上の記述のような暗黙の制御信号が許されることが多く、また、既存のデータ分布を超えた大胆な幾何学的歪みをサポートすることはまれです。我々は、3Dメッシュを変形して画像のスタイルを表現できる幾何学的スタイライゼーション（様式化）フレームワークを提案します。スタイルは本質的に曖昧ですが、事前学習済みの拡散モデルを用いて、与えられた画像から抽象的な表現を抽出します。粗いものから細かいものへ段階的に行うスタイライゼーションのパイプラインにより、元のメッシュの妥当なトポロジ（位相）とパート単位のセマンティクスを保持したまま、入力3Dモデルを大きく変形し、多様な幾何学的変化を表現できます。また、メッシュレンダリングから効率的で信頼性の高い勾配を提供する近似VAEエンコーダも提案します。広範な実験により、本手法が、表現されたアセットの独自の幾何学的特徴、たとえば表情豊かなポーズや輪郭線（シルエット）を反映したスタイライズド3Dメッシュを生成できることを示します。これにより、独特な芸術的3D作品の作成を支援します。プロジェクトページ: https://changwoonchoi.github.io/GeoStyle