GaussianGrow：テキストによるガイダンス付き3Dポイントクラウドからのジオメトリを考慮したGaussianの生成拡張

要旨: 3Dガウススプラッティングは、レンダリング効率と品質において優れた性能を示してきましたが、3Dガウスの生成は、適切な幾何学的事前知識（priors）がない場合には依然として課題です。既存手法では、ガウスプリミティブを推論するための幾何学的参照として、点マップを予測することが検討されてきました。一方で、推定された幾何学が信頼できないと、生成結果が不十分になる可能性があります。本研究では、GaussianGrowという新しい手法を提案します。これは、容易に取得できる3D点群から、それらを「成長させる」ことを学習することで3Dガウスを生成し、ガウス生成において幾何学的な正確さを自然に強制します。具体的には、入力点群から一貫した外観を合成して教師信号とするために、多視点拡散モデルを活用する、テキスト誘導のガウス成長スキームを設計します。異なる近傍視点を融合することによって生じるアーティファクトを軽減するために、視点間の重なり領域で特定された、プリセット済みのカメラ姿勢ではない姿勢で生成される新規視点を制約します。観測が難しい領域を補完するために、点群中で最大の未成長領域を観測することでカメラ姿勢を反復的に検出し、事前学習済みの2D拡散モデルを用いてレンダリング済み視点をインペイントすることを提案します。このプロセスは、完全なガウスが生成されるまで続きます。合成および、さらには実際にスキャンした点群を用いたテキスト誘導ガウス生成に対して、GaussianGrowを徹底的に評価します。プロジェクトページ: https://weiqi-zhang.github.io/GaussianGrow