SIC3D: スタイル画像条件付き テキストから3Dへのガウシアン・スプラッティング生成

Abstract

近年のテキストから3Dオブジェクトを生成する研究の進展により、2D拡散モデルと微分可能な3D表現を活用することで、テキスト入力から詳細なジオメトリを合成できるようになってきました。しかし、これらの手法はしばしば、テキストモダリティの制約に起因して、制御性が限定的であり、テクスチャが曖昧になるという問題を抱えています。これに対処するために、本論文では、3Dガウススパッティング（3DGS）を用いた、制御可能な画像条件付きテキストから3D生成パイプラインであるSIC3Dを提案します。SIC3Dには2つの段階があります。第1段階では、テキストからテキストから3DGS生成モデルによって3Dオブジェクトの内容を生成します。第2段階では、参照画像から3DGSへスタイルを転送します。このスタイライズ段階では、新しい変分スタイライズ・スコア蒸留（VSSD）損失を導入し、ジオメトリと外観の間で生じる競合を抑えつつ、グローバルおよびローカルの両方のテクスチャパターンを効果的に捉えます。さらに、アーティファクトの出現を防ぎ、スタイル画像に由来するパターンを保持するために、スケーリング正則化を適用します。広範な実験により、SIC3Dは幾何学的な忠実性とスタイル適合性を向上させ、定性的評価と定量的評価の両方において従来手法よりも優れていることが示されます。