3D-ReGen：統一的な3Dジオメトリ再生成フレームワーク

Abstract

私たちは、2D画像と初期3D形状から3Dオブジェクトを再生成する問題を考えます。ほとんどの3Dジェネレータはワンショット形式で動作し、テキストまたは画像を、制御性が限られた状態で3Dオブジェクトへと変換します。代わりに、初期3D形状に条件付けられた3Dリジェネレータである3D-ReGenを導入します。この概念的に単純な定式化により、3D強化、再構成、編集といった多数の有用なタスクを支援できます。3D-ReGenはVecSetに基づく新しい条件付けメカニズムを用いており、整合した微細な詳細を保ちながら、リジェネレータが入力ジオメトリを更新または改善できるようにします。3D-ReGenは、追加のアノテーションなしで、自己教師ありの前処理タスクと拡張（オーグメンテーション）を通じて、市販の3Dデータセットから広く適用可能な再生成の事前知識を学習します。私たちは、3D-ReGenの幾何学的整合性と微細品質の両方を評価し、複数のタスクにわたる制御可能な3D生成において最先端の性能を達成します。